АссистентНовый вопросИсторияОбласти знаний
Партнёрские проектыСпецпроектыСтать автором
Сменить язык
О РУВИКИ

Kubeflow

Kubeflow — построенная на Kubernetes и представленная Google платформа с открытым кодом, предназначенная для машинного обучения и MLOps практик. Различные этапы в типичном жизненном цикле машинного обучения представлены разными компонентами программного обеспечения в Kubeflow, включая разработку модели (Kubeflow Notebooks[4]), тренировку модели (Kubeflow Pipelines[5], Kubeflow Training Operator[6]), использование модели (KServe[a][7]), и автоматическое машинное обучение (Katib[8]).

Каждый компонент Kubeflow может быть развернут отдельно, также нет требования развертывать каждый компонент[9].

Общие сведения
Kubeflow
Тип Платформа для машинного обучения
Автор Google
Разработчики Kubeflow Contributors[1] - AWS, Bloomberg, Google (компания), IBM, NVIDIA, Nutanix, Red Hat, Arrikto, and others
Написана на Go, Python
Первый выпуск 5 апреля 2018; 8 лет назад (2018-04-05)[2]
Аппаратная платформа Kubernetes
Последняя версия 1.6[3] (7 сентября 2022; 3 года назад (2022-09-07))
Репозиторий github.com/kubeflow
Лицензия Apache License 2.0
Сайт kubeflow.org

История

Проект Kubeflow был впервые анонсирован на конференции KubeCon + CloudNativeCon North America 2017 инженерами Google Дэвидом Арончиком, Джереми Леви и Вишну Каннаном для устранения предполагаемой нехватки гибких возможностей для построения систем машинного обучения готовых к запуску на производстве[10]. Было также заявлено, что проект начался как способ компании Google сделать открытым код, с помощью которого в компании используется TensorFlow[11].

Первый выпуск Kubeflow (Kubeflow 0.1) был анонсирован на конференции KubeCon + CloudNativeCon Europe 2018[12] с утверждениями, что он уже стал одним из верхних 2 % проектов на GitHub за всё время существования сервиса[13]. Kubeflow 1.0 был выпущен в марте 2020 года в публичном посте анонсирующим перевод множества компонентов Kubeflow в «стабильный статус», обозначая, что они стали готовы для производственного использования[14].

Компоненты

Kubeflow Notebooks для разработки модели

Модели машинного обучения разрабатываются в компоненте записной книжки называемым Kubeflow Notebooks. Компонент использует web среды разработки внутри Kubernetes кластера, с родной поддержкой Jupyter Notebook, Visual Studio Code, и RStudio[15].

Kubeflow Pipelines для обучения модели

После разработки модели обучаются в компоненте Kubeflow Pipelines. Компонент служит платформой для построения и развертывания портируемого, масштабируемого рабочего процесса машинного обучения, основанного на контейнерах Docker[16]. Облачная платформа Google адаптировала Kubeflow Pipelines DSL для использования внутри своего продукта Vertex AI Pipelines[17].

Kubeflow Training Operator для обучения модели

Для некоторых моделей машинного обучения и библиотек, компонент Kubeflow Training Operator предоставляет поддержку пользовательских ресурсов Kubernetes. Компонент позволяет запускать как распределенные, так и не распределенные работы для обучения с использованием TensorFlow, PyTorch, Apache MXNet, XGBoost, и MPI на Kubernetes[6].

KServe для использования модели

Компонент KServe (ранее называемый KFServing[18]) предоставляет пользовательские ресурсы Kubernetes для использования моделей машинного обучения с помощью различных фреймворков включая TensorFlow, XGBoost, scikit-learn, PyTorch, и ONNX[19]. KServe был разработан совместно Google, IBM, Bloomberg, NVIDIA, и Seldon[18]. Публично раскрытые пользователи KServe включают Bloomberg[20], Gojek[21], и прочих[22].

Katib для автоматического машинного обучения

Наконец, Kubeflow включает компонент для автоматического обучения и разработки моделей машинного обучения — Katib компонент. Он описывается как родной проект Kubernetes и позволяет производить настройку гиперпараметров, раннюю остановку и поиск нейронной архитектуры[23].

Хронология выпусков

Хронология выпусков
Версия Дата выпуска Сведения о выпуске Блог выпуска
Kubeflow 0.1 5 апреля, 2018[2] - https://kubernetes.io/blog/2018/05/04/announcing-kubeflow-0.1/
Kubeflow 0.2 2 июля, 2018[24] - https://medium.com/kubeflow/kubeflow-0-2-offers-new-components-and-simplified-setup-735e4c56988d
Kubeflow 0.3 5 октября, 2018[25] - https://medium.com/kubeflow/kubeflow-0-3-simplifies-setup-improves-ml-development-98b8ca10bd69
Kubeflow 0.4 8 января, 2019[26] - https://medium.com/kubeflow/kubeflow-0-4-release-enhancements-for-machine-learning-productivity-d77c54df07a9
Kubeflow 0.5 9 апреля, 2019[27] - https://medium.com/kubeflow/kubeflow-v0-5-simplifies-model-development-with-enhanced-ui-and-fairing-library-78e19cdc9f50
Kubeflow 0.6 19 июля, 2019[28] https://www.kubeflow.org/docs/releases/kubeflow-0.6/ https://medium.com/kubeflow/kubeflow-v0-6-a-robust-foundation-for-artifact-tracking-data-versioning-multi-user-support-9896d329412c
Kubeflow 0.7 17 октября, 2019[29] https://www.kubeflow.org/docs/releases/kubeflow-0.7/ https://medium.com/kubeflow/kubeflow-v0-7-delivers-beta-functionality-in-the-leadup-to-v1-0-1e63036c07b8
Kubeflow 1.0 20 февраля, 2020[30] https://www.kubeflow.org/docs/releases/kubeflow-1.0/ https://blog.kubeflow.org/releases/2020/03/02/kubeflow-1-0-cloud-native-ml-for-everyone
Kubeflow 1.1 31 июля, 2020[31] https://www.kubeflow.org/docs/releases/kubeflow-1.1/ https://blog.kubeflow.org/release/official/2020/07/31/kubeflow-1.1-blog-post
Kubeflow 1.2 18 ноября, 2020[32] https://www.kubeflow.org/docs/releases/kubeflow-1.2/ https://blog.kubeflow.org/release/official/2020/11/18/kubeflow-1.2-blog-post
Kubeflow 1.3 23 апреля, 2021[33] https://www.kubeflow.org/docs/releases/kubeflow-1.3/ https://blog.kubeflow.org/kubeflow-1.3-release/
Kubeflow 1.4 12 октября, 2021[34] https://www.kubeflow.org/docs/releases/kubeflow-1.4/ https://blog.kubeflow.org/kubeflow-1.4-release/
Kubeflow 1.5 10 марта, 2022[35] https://www.kubeflow.org/docs/releases/kubeflow-1.5/ https://blog.kubeflow.org/kubeflow-1.5-release/
Kubeflow 1.6 7 сентября, 2022[3] https://www.kubeflow.org/docs/releases/kubeflow-1.6/ https://blog.kubeflow.org/kubeflow-1.6-release/

Дополнение

  1. ↑ KServe был ранее известен под наименованием KFServing[18]

Примечания

  1. ↑ Kubeflow Website - Working Groups (англ.).
  2. ↑ 1 2 Kubeflow 0.1 - Release Tag (англ.).
  3. ↑ 1 2 Kubeflow 1.6 - Release Information (англ.).
  4. ↑ Kubeflow Website - Kubeflow Notebooks (англ.).
  5. ↑ Kubeflow Website - Kubeflow Pipelines (англ.).
  6. ↑ 1 2 Kubeflow GitHub - Kubeflow Training Operator (англ.).
  7. ↑ Kubeflow Website - KServe (англ.).
  8. ↑ Kubeflow Website - Katib (англ.).
  9. ↑ Kubeflow Website - Installing Kubeflow (англ.).
  10. ↑ Introducing Kubeflow - A Composable, Portable, Scalable ML Stack Built for Kubernetes (англ.).
  11. ↑ Kubeflow Website - History (англ.).
  12. ↑ Google-led Kubeflow, machine learning for Kubernetes, begins to take shape (англ.).
  13. ↑ Announcing Kubeflow 0.1 (англ.).
  14. ↑ Kubeflow 1.0: Cloud-Native ML for Everyone (англ.).
  15. ↑ Kubeflow Website - Kubeflow Notebooks Overview (англ.).
  16. ↑ Kubeflow Website - Kubeflow Pipelines Introduction (англ.).
  17. ↑ Vertex AI - Building a pipeline (англ.).
  18. ↑ 1 2 3 KServe: The next generation of KFServing (англ.).
  19. ↑ KServe GitHub (англ.).
  20. ↑ The journey to build Bloomberg’s ML Inference Platform Using KServe (formerly KFServing) (англ.).
  21. ↑ Merlin: Making ML Model Deployments Magical (англ.).
  22. ↑ KServe Website - Adopters of KServe (англ.).
  23. ↑ Kubeflow GitHub - Katib (англ.).
  24. ↑ Kubeflow 0.2 - Release Tag (англ.).
  25. ↑ Kubeflow 0.3 - Release Tag (англ.).
  26. ↑ Kubeflow 0.4 - Release Tag (англ.).
  27. ↑ Kubeflow 0.5 - Release Tag (англ.).
  28. ↑ Kubeflow 0.6 - Release Information (англ.).
  29. ↑ Kubeflow 0.7 - Release Information (англ.).
  30. ↑ Kubeflow 1.0 - Release Information (англ.).
  31. ↑ Kubeflow 1.1 - Release Information (англ.).
  32. ↑ Kubeflow 1.2 - Release Information (англ.).
  33. ↑ Kubeflow 1.3 - Release Information (англ.).
  34. ↑ Kubeflow 1.4 - Release Information (англ.).
  35. ↑ Kubeflow 1.5 - Release Information (англ.).

Ссылки

Категории