- Фотонные нейронные сети с высокоэффективными протоколами обучения для сверхбыстрых нейроморфных вычислительных систем (arXiv)
Автор: Дафидд Оуэн-Ньюнс, Джошуа Робертсон, Матей Хейда, Антонио Уртадо.
Аннотация: Фотонные технологии открывают большие перспективы для новых сверхбыстрых, энергоэффективных и дружественных к оборудованию нейроморфных (подобных мозгу) вычислительных платформ. Кроме того, особый интерес представляют нейроморфные фотонные подходы, основанные на повсеместно распространенных, технологичных и недорогих поверхностно-излучающих лазерах с вертикальным резонатором (VCSEL) (устройства, встречающиеся в волоконно-оптических передатчиках, мобильных телефонах, автомобильных датчиках и т. д.). Учитывая, что VCSEL продемонстрировали способность реализовывать ответы нейронных оптических импульсов (на сверхвысоких частотах ГГц), было предложено их использование для систем обработки информации на основе импульсов. В этой работе сообщается о работе Spiking Neural Network (SNN), основанной на удобной для аппаратного обеспечения фотонной системе, состоящей всего из одного поверхностно-излучающего лазера с вертикальной полостью (VCSEL), наряду с новой схемой обучения «значительности» бинарных весов, которая полностью использует дискретные характер оптических пиков, используемых SNN для обработки входной информации. Фотонный SNN на основе VCSEL тестируется с помощью очень сложной многомерной задачи классификации (MADELON) перед тем, как производительность сравнивается с использованием традиционного метода обучения наименьших квадратов и альтернативной новой схемы бинарного взвешивания. Оба метода обучения обеспечивают превосходную точность классификации >94 %, что превышает контрольную производительность набора данных за долю времени обработки. Недавно представленная схема обучения также значительно снижает требования к размеру тренировочного набора, а также количество обученных узлов (‹1% от общего количества сетевых узлов). Таким образом, эта фотонная SNN на основе VCSEL в сочетании с заявленной схемой взвешивания «значительности» обеспечивает сверхбыструю оптическую обработку на основе импульсов с очень низкими требованиями к обучению и сложностью оборудования для потенциального применения в будущих нейроморфных системах и приложениях искусственного интеллекта.
2. Адаптивные программируемые сети для нейроморфных вычислений в Материи (arXiv)
Автор: Килиан Д. Стеннинг, Джек С. Гартсайд, Лука Маннески, Кристофер Т. С. Чунг, Тони Чен, Алекс Ванстон, Джейк Лав, Холли Х. Холдер, Франческо Каравелли, Карин Эвершор-Ситте, Элени Василаки, Уилл Р. Брэнфорд
Аннотация: Современный ИИ и машинное обучение обеспечивают поразительную производительность. Однако это связано с быстро растущими затратами на электроэнергию из-за растущего размера сети и неэффективности архитектуры фон Неймана. «Резервуарные вычисления» предлагают энергоэффективную альтернативу большим сетям, фиксируя рандомизированные веса для энергосберегающих тренировок. Массивно-параллельная обработка, лежащая в основе машинного обучения, плохо обслуживается CMOS, а нейроморфные вычисления in materia являются привлекательным решением. Наномагнитные искусственные спин-системы — идеальные кандидаты на нейроморфное оборудование. Их пассивная память, динамика, зависящая от состояния, и нелинейная характеристика спиновых волн ГГц обеспечивают мощные вычисления. Тем не менее, любой отдельный физический резервуар должен искать компромисс между показателями производительности, включая нелинейность и объем памяти, причем компромисс обычно жестко запрограммирован во время нанопроизводства. Здесь мы представляем три искусственных спин-системы: квадратный искусственный спин-лед, квадратный искусственный спин-вихревой лед и неупорядоченный спин-вихревой искусственный спин-вихревой лед. Мы показываем, как настройка геометрии и динамики системы определяет производительность вычислений. Мы разрабатываем сети, в которых каждый узел представляет собой многомерный физический резервуар, реализуя параллельные, глубокие и многоуровневые физические архитектуры нейронных сетей. Это решает проблему снижения производительности физических коллекторов, позволяя небольшому набору синергетических физических систем решать разнообразные задачи и обеспечивать широкий диапазон перепрограммируемых вычислительно-различных конфигураций. Эти сети превосходят любой отдельный резервуар в широком наборе задач. Важно отметить, что мы выходим за рамки резервуарных вычислений и представляем метод реконфигурируемого программирования межуровневых сетевых соединений, обеспечивающий оптимизацию производительности задач по требованию.
