- Границы ошибки обобщения для алгоритмов итеративного восстановления, развернутых как нейронные сети (arXiv)
Автор: Эккехард Шнор, Араш Бехбуди, Хольгер Раухут.
Аннотация: Руководствуясь изученным итеративным алгоритмом мягкой пороговой обработки (LISTA), мы представляем общий класс нейронных сетей, подходящих для разреженной реконструкции на основе нескольких линейных измерений. Предоставляя широкий диапазон степеней распределения веса между слоями, мы обеспечиваем унифицированный анализ для самых разных типов нейронных сетей, от рекуррентных до сетей, более похожих на стандартные нейронные сети прямого распространения. На основе обучающих выборок посредством минимизации эмпирического риска мы стремимся изучить оптимальные параметры сети и, следовательно, оптимальную сеть, которая восстанавливает сигналы на основе их низкоразмерных линейных измерений. Мы выводим границы обобщения путем анализа сложности по Радемахеру классов гипотез, состоящих из таких глубоких сетей, которые также учитывают параметры пороговой обработки. Получены оценки сложности выборки, которые существенно зависят только линейно от числа параметров и глубины. Мы применяем наш основной результат, чтобы получить конкретные границы обобщения для нескольких практических примеров, включая различные алгоритмы (неявного) обучения словарю и сверточные нейронные сети.
2. «Базовые» границы ошибки обобщения для регрессии наименьших квадратов с четко заданными моделями (arXiv)
Автор : Картик Дурайсами
Аннотация: В этой заметке рассматривается поведение возможностей обобщения — определяемых среднеквадратической ошибкой вне выборки (MSE) — линейной гауссовской регрессии (с фиксированной матрицей плана) и линейной регрессии наименьших квадратов. В частности, мы рассматриваем четко определенные настройки модели, т. е. предполагаем, что существует «истинная» комбинация параметров модели в пределах выбранной формы модели. Хотя статистические свойства регрессии наименьших квадратов тщательно изучались в течение последних нескольких десятилетий — особенно с {\bf менее строгими формулировками задач} по сравнению с настоящей работой — эта заметка нацелена на {\bf неасимптотические и более количественные} границы. по сравнению с литературой. Далее аналитические формулы для распределений и границ (по MSE) непосредственно сравниваются с численными экспериментами. Выводы представлены в автономной и педагогической манере, таким образом, чтобы их мог понять читатель с базовыми знаниями в области вероятностей и статистики.
