- Доброкачественное переоснащение в состязательно устойчивой линейной классификации (arXiv)
Автор: Цзинхуэй Чен, Юань Цао, Цюаньцюань Гу.
Аннотация: «Безобидное переобучение», когда классификаторы запоминают зашумленные обучающие данные, но при этом достигают хороших результатов обобщения, привлекло большое внимание в сообществе машинного обучения. Чтобы объяснить это удивительное явление, в ряде работ было дано теоретическое обоснование чрезмерно параметризованной линейной регрессии, классификации и ядерных методов. Однако неясно, имеет ли место доброкачественное переоснащение при наличии состязательных примеров, т. Е. Примеров с крошечными и преднамеренными возмущениями, чтобы обмануть классификаторы. В этой статье мы показываем, что доброкачественная переобучение действительно имеет место при состязательном обучении, что является принципиальным подходом к защите от состязательных примеров. Подробно мы доказываем границы риска линейного классификатора, обученного со стороны противника, для смеси субгауссовских данных при ℓp возмущениях со стороны противника. Наш результат показывает, что при умеренных возмущениях линейные классификаторы, обученные состязательно, могут достигать почти оптимальных стандартных и состязательных рисков, несмотря на переоснащение зашумленных обучающих данных. Численные эксперименты подтверждают наши теоретические выводы.
2. Глупые толпы поддерживают доброкачественную переобучение (arXiv)
Автор : Ниладри С. Чаттерджи, Филип М. Лонг
Аннотация: Мы доказываем нижнюю границу избыточного риска процедур разреженной интерполяции для линейной регрессии с гауссовыми данными в режиме перепараметризации. Мы применяем этот результат, чтобы получить нижнюю границу для базисного поиска (минимальный интерполянт с нормой ℓ1), который подразумевает, что его избыточный риск может сходиться с экспоненциально более медленной скоростью, чем OLS (интерполянт с минимальной нормой ℓ2), даже когда основная истина равна редкий. Наш анализ раскрывает пользу от эффекта, аналогичного «мудрости толпы», за исключением того, что здесь вред, возникающий от подгонки шума, смягчается за счет его распространения по многим направлениям — уменьшение дисперсии возникает из-за глупой толпы.
