Основы поэтапного обучения
- Сбалансированное контролируемое контрастное обучение для поэтапного обучения с небольшим количеством занятий (arXiv)
Автор: Ин-Уг Юн, Тэ-Мин Чхве, Ён-Мин Ким, Чон-Хван Ким.
Резюме: постепенное обучение в классе (FSCIL) представляет собой основную проблему баланса между недостаточной подготовкой к задаче нового сеанса и забыванием задач из предыдущих сеансов. Чтобы решить эту проблему, мы разрабатываем простую, но мощную схему обучения, которая объединяет эффективные методы для каждого основного компонента сети FSCIL, включая экстрактор признаков, базовые классификаторы сеансов и добавочные классификаторы сеансов. При обучении извлечению признаков наша цель — получить сбалансированные общие представления, которые принесут пользу как текущим видимым, так и невидимым или прошлым классам. Для достижения этого мы предлагаем сбалансированную контролируемую контрастную потерю, которая эффективно уравновешивает эти две цели. Что касается классификаторов, мы анализируем и подчеркиваем важность унификации методов инициализации как для базовых, так и для добавочных классификаторов сеансов. Наш метод демонстрирует выдающуюся способность к обучению новым задачам и предотвращению забывания наборов данных CUB200, CIFAR100 и miniImagenet со значительными улучшениями по сравнению с предыдущими современными методами по различным показателям. Мы проводим эксперименты, чтобы проанализировать значение и обоснование нашего подхода и визуализировать эффективность наших представлений о новых задачах. Кроме того, мы проводим различные исследования абляции для анализа эффектов каждого модуля.
2. Воспроизведение сжатого прототипа для постепенного обучения класса (arXiv)
Автор: Цзянтао Конг, Чжэнью Цзун, Тяньи Чжоу, Хуацзе Шао.
Аннотация: Инкрементальное обучение (IL) страдает от катастрофического забывания старых задач при изучении новых задач. Это можно решить, воспроизведя данные предыдущих задач, хранящиеся в памяти, которые, однако, обычно подвержены ограничениям по размеру и утечке конфиденциальности. Недавние исследования сохраняют только центроиды классов в качестве прототипов и дополняют их гауссовскими шумами для создания синтетических данных для воспроизведения. Однако они не могут эффективно избежать классового вмешательства вблизи своих пределов, что приводит к забывчивости. Более того, введенные шумы искажают богатую структуру между реальными данными и прототипами, что даже вредно для IL. В этой статье мы предлагаем YONO, в котором вам нужно воспроизвести только один сжатый прототип для каждого класса, что впервые может даже превзойти методы воспроизведения экземпляров, требующие больших затрат памяти. С этой целью мы разрабатываем новый метод обучения прототипов, который (1) ищет более репрезентативные прототипы в регионах с высокой плотностью с помощью алгоритма среднего сдвига внимания и (2) перемещает образцы в каждом классе к их прототипу, чтобы сформировать компактный удаленный кластер. из других классов. Таким образом, поля класса максимизируются, что эффективно снижает помехи, вызывающие забывание в будущем. Кроме того, мы расширяем YONO до YONO+, который создает синтетические данные воспроизведения путем случайной выборки вблизи каждого прототипа в пространстве представления. Мы показываем, что синтетические данные могут еще больше улучшить YONO. Обширные эксперименты с эталонными тестами IL демонстрируют преимущества YONO/YONO+ по сравнению с существующими методами IL с точки зрения как точности, так и забывчивости.
