Филипп Ройш и Фоад Вафаеи
Организации были описаны как фабрики, производящие суждения и решения. С появлением машинного обучения предприятия и организации пришли к пониманию необходимости лучшего анализа и визуализации больших наборов данных. Им необходимо исследовать, анализировать и визуализировать огромные объемы данных, чтобы принимать решения быстрее и с меньшими затратами. Им необходимо управлять всем жизненным циклом моделей машинного обучения. Машинное обучение проложило путь к следующему поколению организационной производительности. Машинное обучение быстро стало стратегической платформой для крупных предприятий.
В настоящее время принято проводить эксперименты и легкие разработки в облаке. Но разработка ИИ требует огромной вычислительной мощности; Модели ИИ могут иметь множество параметров. Наборы данных могут быть очень большими, и их загрузка в облако занимает много времени. Организации могут не захотеть загружать наборы данных в облако из-за законов о конфиденциальности или они могут не захотеть быть привязанными к технологии одного конкретного поставщика. Они могут обучать свои модели машинного обучения на собственных высокопроизводительных компьютерах и кластерных системах со специальными процессорами, такими как карты графического процессора или специализированные процессоры искусственного интеллекта.
Разработчики ИИ, которым требуется доступ к большим вычислительным мощностям, могут иметь под своим столом большие рабочие станции с несколькими графическими процессорами, что приводит к огромным затратам на оборудование. И администрирование этих децентрализованных рабочих станций не является тривиальным. Кроме того, разработчикам ИИ необходимо совместно работать над большими наборами данных, делиться своими обученными моделями и результатами своих экспериментов.
Carme — это масштабируемая и простая в использовании платформа с открытым исходным кодом для кластеров высокопроизводительных вычислений (HPC) с поддержкой ускорителей, таких как графические процессоры (GPU) или программируемая пользователем вентильная матрица (FPGA). Carme позволяет пользователям быстро разрабатывать, обучать и развертывать модели искусственного интеллекта в интерактивном режиме. Carme помогает предприятиям получить максимальную отдачу от своих инвестиций в системы высокопроизводительных вычислений, чтобы они могли предоставлять действительно интеллектуальную информацию в режиме реального времени для больших сложных наборов данных. Это означает более продуктивных специалистов по данным и инженеров данных.
Carme уже используется для исследований ИИ в Fraunhofer ITWM, где наши исследователи сосредоточены на удаленном использовании JupyterLab (или ноутбука) через веб-интерфейс Carme со своего ноутбука или рабочей станции для работы над своими алгоритмами ИИ.
Разработчики ИИ часто очень хороши в разработке ИИ. Но индустрия ИИ огромна; поэтому они также не смогут знать все о высокопроизводительных вычислениях — как получить доступ к ресурсам, запланировать интерактивное пакетное задание или более оптимально использовать оборудование HPC.
Чтобы решить эти проблемы, Carme помогает проектам ИИ четырьмя важными способами:
I-Carme помогает вашей команде получить максимальную отдачу от ваших инвестиций в системы высокопроизводительных вычислений и кластеры графических процессоров, чтобы специалисты по обработке и анализу данных могли предоставлять аналитику в режиме реального времени для больших сложных наборов данных без значительных инвестиций в новый персонал и оборудование, а системные администраторы могли лучше управлять существующей инфраструктурой.
II-Carme помогает оптимизировать использование оборудования, разделяя ресурсы между пользователями, позволяя специалистам по данным выполнять пакетные задания и сотрудничать друг с другом, не наступая друг другу на пятки и не теряя выполняемой работы. Carme также сокращает кривую обучения специалистов по данным, предоставляя несколько уровней абстракции и известные инструменты и библиотеки, а также позволяет организациям машинного обучения предоставлять безопасную надежную и простую в управлении платформу совместной работы для специалистов по данным.
III- Carme предлагает многопользовательский веб-интерфейс для сокращения административных расходов и предоставления командам специалистов по данным совместной работы над улучшением своих алгоритмов с помощью графического пользовательского интерфейса для лучшей видимости и понимания состояния использования ресурсов кластерной системы HPC с помощью единого представления и в реальном времени.
IV-Carme упрощает взаимодействие с HPC и кластерными системами за счет осмысленных абстракций, поэтому специалисты по данным могут сосредоточиться на разработке алгоритмов с помощью JupyterLab и Theia IDE. Когда вы используете JupyterLab, вы можете писать отдельные части кода и в интерактивном режиме просматривать вывод кода, который вы написали, чтобы визуализировать ваши входные данные и ваш вывод. Итак, мы используем JupyterLab как интерфейс к кластерам HPC.
Подводя итог, Carme позволяет ученым данных подключаться, взаимодействовать и сотрудничать независимо от местоположения. Carme также повысит коммерческую ценность вашей высокопроизводительной инфраструктуры и кластерной инфраструктуры за счет развертывания комплексной многопользовательской рабочей веб-среды, обеспечивающей высокую рентабельность инвестиций.
Carme имеет открытый исходный код и доступен через GitHub. У нас был первый релиз в середине 2019 года, и сейчас мы сосредоточены на следующем стабильном релизе в середине 2021 года. Мы стремимся предоставить более продуктивный новый графический интерфейс, который позволит специалистам по данным интегрировать все части многопользовательского управления в это представление проекта, что, как мы надеемся, еще больше упростит процесс работы над их алгоритмами искусственного интеллекта.
Чтобы узнать больше о Carme, посетите https://open-carme.org/
