ТОП-8 библиотек по MLOps

автор рубрика ,
ТОП-8 библиотек по MLOps

MLOps — это развивающаяся дисциплина, которая интегрирует практики Data Science и DevOps. Для этой области уже существует множество различных инструментов разработки. В этой статье приведен обзор 9 популярных библиотек с открытым исходным кодом и написанных на Python.

1. Data Version Control

DVC — это библиотека для управления версиями данных. Ваши модели или датасеты с помощью неё можно версионировать так же, как это делается через Git. DVC предоставляет командный интерфейс (CLI) и позволяет создавать версии данных, которыми можно делиться с другими людьми. Рекомендуем ознакомиться с их Quick Start.

Количество звезд Количество контрибьютеров
870+ 220+

2. ZenML

ZenML — это MLOps-фреймворк, предназначенный для создания готовых к работе конвейеров машинного обучения (Machine Learning). Он применяет абстракции высокого уровня, которые позволяют специалистам по обработке данных полностью владеть конвейером вплоть до отправки в прод. Data Scientist’у не нужно разбираться в деталях инфраструктуры или инструментов развертывания, он сможет использовать их через ZenML. Ему нужно лишь задать, как должен быть устроен конвейер, а дальше он сам разберется. В отличие от Airflow, который ориентирован на инженера данных (Data Engineer), ZenML позволяет работать с объектами Pandas и PyTorch без всяких сложностей.

Количество звезд Количество контрибьютеров
1.5k 8+

3. MLRun

MLRun — ещё один фреймворк для управления конвейерами машинного обучения. Он помогает стандартизировать конфигурационные файлы, среды, параметры, источники данных так, что вам не нужно будет беспокоиться о том, где вы запускаете свой конвейер.

Количество звезд Количество контрибьютеров
520+ 33+

4. Metaflow

Metaflow — это библиотека для управления Data Science проектами, написанными на Python или R. Metaflow изначально был разработан в Netflix для повышения продуктивности Data Scientist’ов, которые работают над широким спектром проектов: от классической статистики до современного глубокого обучения.

Количество звезд Количество контрибьютеров
5.1k+ 45+

5. Kedro

Kedro предназначен для создания воспроизводимого, поддерживаемого и многомодульного MLOps-кода. Он заимствует концепции из программной инженерии и применяет их к коду машинного обучения; прикладные концепции включают модульность, разделение задач и управление версиями. Также в нем имеется возможность визуализировать конвейеры через Web-интерфейс.

Количество звезд Количество контрибьютеров
4.8k+ 120+

Код курса
MLOps
Ближайшая дата курса
по запросу
Длительность обучения
ак.часов
Стоимость обучения
0 руб.

6. ClearML

ClearML отслеживает и контролирует процесс создания моделей с использованием системы контроля версий. Сам фреймворк состоит из трёх модулей:

  • Experiment Manager, предназначенный для управления окружениями и результатами
  • ML-Ops для автоматизации и оркестирования
  • Data-Management для управления данными и версиями
Количество звезд Количество контрибьютеров
2.9k+ 39

7. Seldon Core

Seldon Core — это MLOps-платформа, предназначенная для оптимизации рабочих процессов машинного обучения с помощью журналирования, расширенных метрик, тестирования (например A/B), масштабирования и преобразования моделей в микросервисы (REST или GRPC).

Количество звезд Количество контрибьютеров
2.8k 120+

8. Flyte

Flyte — ещё одна MLOps-платформа для отслеживания, обслуживания и автоматизации рабочих процессов (в т.ч. процессов по типу Kubernates) машинного обучения. Она обеспечивает воспроизводимость выполнения моделей машинного обучения за счет отслеживания изменений модели, управления версиями и контейнеризации модели вместе с ее зависимостями. Имеет как CLI-, так и Web-интерфейс.

Количество звезд Количество контрибьютеров
1.8k 60+

 

Ещё больше подробностей об инструментах разработки MLOps-разработчиков и их применении вы узнаете на специализированном курсе «Разработка и внедрение ML-решений» в лицензированном учебном центре обучения и повышения квалификации разработчиков, менеджеров, архитекторов, инженеров, администраторов, Data Scientist’ов и аналитиков Big Data в Москве.

Комментировать