- Статистические аспекты SHAP: функциональный дисперсионный анализ для интерпретации модели (arXiv)
Автор : Эндрю Херрен, П. Ричард Хан
Аннотация: SHAP — это популярный метод измерения важности переменных в моделях машинного обучения. В этой статье мы изучаем алгоритм, используемый для оценки показателей SHAP, и обрисовываем его связь с функциональным разложением ANOVA. Мы используем эту связь, чтобы показать, что проблемы в приближениях SHAP в значительной степени связаны с выбором распределения признаков и количеством оцениваемых членов 2p ANOVA. Мы утверждаем, что связь между объяснимостью машинного обучения и анализом чувствительности в этом случае проясняет, но непосредственные практические последствия не очевидны, поскольку эти две области сталкиваются с разными наборами ограничений. Объяснимость машинного обучения касается моделей, которые недороги в оценке, но часто имеют сотни, если не тысячи функций. Анализ чувствительности обычно имеет дело с моделями из физики или инженерии, запуск которых может занимать очень много времени, но они работают со сравнительно небольшим объемом входных данных.
2. Аппроксимация черного ящика в формате тензорного поезда, инициализированная разложением ANOVA (arXiv)
Автор : Андрей Чертков, Глеб Рыжаков, Иван Оселедец.
Аннотация: Суррогатные модели могут снизить вычислительные затраты для функций многих переменных с неизвестной внутренней структурой (черные ящики). В дискретной постановке суррогатное моделирование эквивалентно восстановлению многомерного массива (тензора) по малой части его элементов. Алгоритм чередующихся наименьших квадратов (ALS) в формате тензорного поезда (TT) является широко используемым подходом для эффективного решения этой проблемы в случае неадаптивного восстановления тензора из заданного обучающего набора (т. Е. Проблема завершения тензора). TT-ALS позволяет получить малопараметрическое представление тензора, свободное от проклятия размерности и может быть использовано для быстрого вычисления значений при произвольных индексах тензора или эффективной реализации алгебраических операций с черным ящиком (интегрирование и т.п.). .). Однако для получения высокой точности при наличии ограничений на размер данных поезда необходим хороший выбор начального приближения. В данной работе мы строим представление ANOVA в формате TT и используем его в качестве начального приближения для алгоритма TT-ALS. Проведенные численные расчеты для ряда многомерных модельных задач, в том числе для параметрического уравнения в частных производных, демонстрируют существенное преимущество нашего подхода для обычно используемого случайного начального приближения. Для всех рассмотренных модельных задач получен прирост точности не менее чем на порядок при одинаковом количестве запросов к черному ящику. Предлагаемый подход носит очень общий характер и может применяться в широком классе реальных задач суррогатного моделирования и машинного обучения.
