Вы узнаете, как использовать Машинное обучение Azure для управления рабочими нагрузками машинного обучения в облаке. Вы будете опираться на имеющиеся у вас знания в области науки о данных и машинного обучения и узнаете, как использовать облачные сервисы для масштабного машинного обучения.

Вы знакомы с Python и имеете опыт обучения моделей машинного обучения с использованием распространенных фреймворков, таких как:

  • Scikit-Learn
  • ПиТорч
  • ТензорФлоу

Вы будете в состоянии:

  • Создайте рабочую область машинного обучения Azure и управляйте средами вычислений, данных и кодирования для рабочих нагрузок машинного обучения.
  • Используйте Машинное обучение Azure для обучения и развертывания модели машинного обучения без кода.
  • Создавайте и запускайте эксперименты, которые регистрируют метрики и обучают модели машинного обучения.
  • Создавайте хранилища и наборы данных и управляйте ими, а также используйте данные в экспериментах по машинному обучению.
  • Создавайте вычислительные ресурсы и управляйте ими, а также используйте их для проведения масштабных экспериментов по машинному обучению в облаке.
  • Используйте конвейеры для организации операций машинного обучения.
  • Развертывайте прогностические модели в качестве сервисов логического вывода в режиме реального времени или в пакетном режиме и используйте их из клиентских приложений.
  • Найдите оптимальную модель для своих данных, используя настройку гиперпараметров и автоматизированное машинное обучение.
  • Применяйте принципы и методы, поддерживающие ответственные методы машинного обучения.
  • Отслеживайте использование и дрейф данных для развернутых моделей.

Модуль 1. Начало работы с Машинным обучением Azure

Вы узнаете, как подготовить рабочую область машинного обучения Azure и использовать ее для управления активами машинного обучения, такими как данные, вычисления, код обучения моделей, зарегистрированные метрики и обученные модели. Вы узнаете, как использовать веб-интерфейс studio Машинного обучения Azure, а также SDK машинного обучения Azure и инструменты разработчика, такие как Visual Studio Code и Jupyter Notebooks, для работы с активами в вашей рабочей области.

Модуль 2. Визуальные инструменты для машинного обучения

В этом модуле представлены визуальные инструменты Automated Machine Learning и Designer, которые можно использовать для обучения, оценки и развертывания моделей машинного обучения без написания кода.

Модуль 3. Проведение экспериментов и обучающие модели

Вы начнете с экспериментов, которые инкапсулируют код обработки данных и обучения моделей, и будете использовать их для обучения моделей машинного обучения.

Модуль 4. Работа с данными

Данные являются фундаментальным элементом любой рабочей нагрузки машинного обучения, поэтому в этом модуле вы узнаете, как создавать хранилища и наборы данных и управлять ими в рабочей области машинного обучения Azure, а также как использовать их в экспериментах по обучению моделей.

Модуль 5. Работа с вычислительными ресурсами

Вы узнаете, как управлять экспериментальными средами, которые обеспечивают согласованность во время выполнения экспериментов, а также как создавать и использовать целевые объекты вычислений для выполнения экспериментов.

Модуль 6. Организация рабочих процессов машинного обучения

Теперь, когда вы понимаете основы выполнения рабочих нагрузок как экспериментов, использующих активы данных и вычислительные ресурсы, пришло время научиться организовывать эти рабочие нагрузки в виде конвейеров связанных шагов. Конвейеры являются ключом к внедрению эффективного решения для операционализации машинного обучения (ML Ops) в Azure, поэтому в этом модуле вы узнаете, как определить и запустить их.

Модуль 7. Развертывание и использование моделей

Как развернуть модели для вывода в реальном времени и для пакетного вывода.

Модуль 8. Обучение оптимальных моделей

Как вы можете использовать пакет SDK для машинного обучения Azure, чтобы применить настройку гиперпараметров и автоматическое машинное обучение, а также найти лучшую модель для ваших данных.

Модуль 9. Ответственное машинное обучение

Вы исследуете некоторые соображения и методы применения ответственных принципов машинного обучения.

Модуль 10: Модели мониторинга

После развертывания модели важно понять, как она используется в производственной среде, и обнаружить снижение ее эффективности из-за дрейфа данных. В этом модуле описываются методы мониторинга моделей и их данных.

Что такое Машинное обучение Azure?

Машинное обучение Azure — это платформа для выполнения рабочих нагрузок машинного обучения в облаке.

Машинное обучение Azure, созданное на облачной платформе Microsoft Azure, позволяет управлять:

· Масштабируемые вычисления по запросу для рабочих нагрузок машинного обучения.

· Хранение данных и возможность подключения для получения данных из самых разных источников.

· Оркестрация рабочих процессов машинного обучения для автоматизации процессов обучения, развертывания и управления моделями.

· Регистрация и управление моделями, чтобы вы могли отслеживать несколько версий моделей и данные, на которых они обучались.

· Метрики и мониторинг обучающих экспериментов, наборов данных и опубликованных сервисов.

· Развертывание модели для получения логических выводов в режиме реального времени и в пакетном режиме.

В Azure существует множество сервисов для хранения данных, в том числе Azure Storage, Azure Data Lake Store, Azure SQL Database, Azure Cosmos DB и другие. Существуют также службы, которые можно использовать для создания решений для обработки «больших данных», которые передают и преобразовывают данные, включая фабрику данных Azure и механизмы Apache Spark в Azure HDInsight и Azure Databricks.

Azure также предоставляет огромный набор сервисов, которые вы можете использовать для доставки приложений для Интернета, мобильных устройств и устройств IoT; включая Службу приложений Azure, Функции Azure и Azure IoT Edge. Azure также предлагает службы для развертывания на основе контейнеров с помощью таких служб, как Azure Container Services и Azure Kubernetes Services.

Машинное обучение Azure поддерживает три основных типа пользователей в этом процессе:

  • Специалисты по данным, которые используют свои знания в области статистики и анализа данных для проведения аналитических экспериментов и обучения моделей машинного обучения. Эти пользователи обычно работают на Python или R и используют такие платформы, как Scikit-Learn, PyTorch и TensorFlow, для обучения моделей машинного обучения.
  • «Гражданские» специалисты по данным и разработчики приложений, которые в основном не работают в области статистического анализа данных, но которым необходимо обучать модели машинного обучения для поддержки приложений. Эти пользователи могут воспользоваться графическими инструментами, которые абстрагируются от основной сложности обучения модели.
  • Инженеры-программисты и операторы, которым необходимо внедрить машинное обучение для поддержки приложений и сервисов. В их задачи обычно входит использование скриптов или автоматизированных процессов DevOps для управления повторным обучением и развертыванием моделей, а также общий мониторинг приложений и .

Я поделюсь с вами давно готовившейся серией статей о Designing and Data Science Solutions в Microsoft Azure. Мы расскажем обо всех модулях.

Мы дали краткое введение в Модуль 1 выше. Чтобы не утомлять вас, мы продолжим с того места, на котором остановились в Модуле 1 в следующей серии.

До скорой встречи 🙂

Оставаться здоровым :)

С уважением,
Эрдем