ЛАИОН

Pause

ЛАИОН (акроним от Large-scale Artificial Intelligence Open Network — в переводе с английского «Открытая сеть искусственного интеллекта в крупном масштабе») — немецкая некоммерческая организация, официально ставящая целью предоставление широкой публике моделей, наборов данных и открытого кода, связанных с масштабным машинным обучением[1]. Организация известна публикациями крупных наборов данных пар изображений и подписей, извлечённых из интернета, которые использовались для обучения ряда заметных моделей генерации изображений по тексту, включая Stable Diffusion и Google Brain[2][3].

В феврале 2023 года ЛАИОН упоминалась в рамках иска Getty Images против Stable Diffusion как третья сторона, не являющаяся ответчиком[4]. В апреле 2023 года на ЛАИОН был подан прямой иск немецким фотографом, потребовавшим удалить свои фотографии из тренировочного набора[5].

15 апреля 2023 года ЛАИОН и его партнёры открыто опубликовали проект OpenAssistant — открытый чат-бот-ассистент на базе искусственного интеллекта.

Общие сведения
Что важно знать
ЛАИОН
Тип некоммерческая организация
Основатели Кристоф Шуманн; Жения Йитцев; Ричард Венцу; Роберт Качмарчик; Тео Кумбс; Мехди Черти; Ааруш Катта; Ян Эберт
Отрасль искусственный интеллект
Продукция OpenAssistant
Сайт laion.ai (англ.)

Наборы данных изображений

ЛАИОН опубликовал ряд масштабных наборов данных пар «изображение—подпись», которые получили широкое распространение в среде исследователей ИИ. Данные были собраны с помощью Common Crawl, системы сканирования веб-страниц. Разработчики искали подписи в html-разметке и трактовали их как текстовые описания. Для контроля соответствия изображения и подписи использовалась модель CLIP[6]; изображения, содержание которых, по оценке модели, не совпадало с подписью, отбрасывались[7]. ЛАИОН не размещает сами изображения, а предоставляет только URL, по которым желающие могут загрузить файлы самостоятельно[8].

Первый подобный набор, LAION-400M[9], был опубликован в августе 2021 года и включал 400 миллионов пар «изображение—подпись». Пары были получены из случайной выборки веб-страниц, собранных Common Crawl с 2014 по 2021 годы[10]. Это была попытка воспроизвести процесс создания тренировочного набора для модели CLIP компании OpenAI: она открыла исходный код и веса модели, но не распространяла сам датасет[7]. Модель Imagen, представленная Google Brain в 2022 году, была обучена на LAION-400M совместно с частными внутренними датасетами[11].

В марте 2022 года был опубликован следующий набор — LAION-5B, насчитывающий свыше 5 миллиардов пар[12][13]. На момент публикации это был крупнейший открытый набор пар «изображение—подпись»[7]. Его создание финансировали Doodlebot, Hugging Face и Stability AI — компания, стоящая за Stable Diffusion, которая использовала этот набор для обучения своей модели[14].

Приостановка развития искусственного интеллекта

В марте 2023 года институт Future of Life (FLI), получающий финансирование в том числе от Илона Маска, выступил с письмом, адресованным ведущим разработчикам искусственного интеллекта, с призывом договориться о шестимесячной верифицируемой приостановке разработки любых систем, «более мощных, чем GPT-4», и в этот срок выработать механизмы обеспечения их безопасности либо принять мораторий со стороны правительств.

ЛАИОН выступил против инициативы, заявив о необходимости ускорения исследований и создания совместного международного вычислительного кластера для открытых масштабных базовых моделей искусственного интеллекта. В качестве примера подходящей модели международного сотрудничества был приведён опыт швейцарского ЦЕРН[15][16].

Примечания

  1. ↑ About (англ.). LAION.ai. Дата обращения: 26 сентября 2022.
  2. ↑ Edwards, Benj. Have AI image generators assimilated your art? New tool lets you check (англ.), Ars Technica (15 September 2022).
  3. ↑ The Future of AI Relies on a High School Teacher’s Free Database (англ.), Bloomberg News (24 April 2023). Дата обращения: 24 апреля 2023.
  4. ↑ Getty Images (US), Inc. v. Stability AI, Inc., 1:23-cv-00135 (англ.). CourtListener. Дата обращения: 8 февраля 2023.
  5. ↑ A Photographer Tried to Get His Photos Removed from an AI Dataset. He Got an Invoice Instead. (англ.). Vice. Дата обращения: 4 мая 2023.
  6. ↑ CLIP (англ.). — «CLIP (Contrastive Language-Image Pre-Training) — нейронная сеть, обученная на массиве пар «изображение—текст». Может по текстовому запросу определить наиболее релевантную подпись к картинке, без непосредственной оптимизации под задачу, аналогично возможностям нулевого выстрела GPT-2 и 3.» Дата обращения: 16 мая 2023.
  7. ↑ 1 2 3 Alford, Anthony LAION Releases Five Billion Image-Text Pair Dataset LAION-5B (англ.). InfoQ (17 мая 2022).
  8. ↑ Edwards, Benj. Artist finds private medical record photos in popular AI training data set (англ.), Ars Technica (21 сентября 2022).
  9. ↑ Christoph Schuhmann, Richard Vencu, Romain Beaumont, Robert Kaczmarczyk, Clayton Mullis, Aarush Katta, Theo Coombes, Jenia Jitsev, Aran Komatsuzaki. LAION-400M: Open Dataset of CLIP-Filtered 400 Million Image-Text Pairs (англ.). Университет Корнелла (3 ноября 2021). Дата обращения: 16 мая 2023.
  10. ↑ Schuhmann, Christoph LAION-400-Million Open Dataset (англ.). LAION blog (8 августа 2021). Дата обращения: 26 сентября 2022.
  11. ↑ Saharia, Chitwan; Chan, William; Saxena, Saurabh; Li, Lala; Whang, Jay; Denton, Emily; Kamyar Seyed Ghasemipour, Seyed; Karagol Ayan, Burcu; Sara Mahdavi, S.; Gontijo Lopes, Rapha; Salimans, Tim; Ho, Jonathan; J Fleet, David; Norouzi, Mohammad (23 мая 2022). “Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding”. arXiv:2205.11487.
  12. ↑ Beaumont, Romain LAION-5B: A New Era of Open Large-Scale Multi-Modal Datasets (англ.). LAION blog (3 марта 2022).
  13. ↑ Sebastian Grüner. Datensatz zum KI-Training bietet fast 6 Milliarden Bilder (нем.). Golem (13 декабря 2022). — «Сам набор содержит только ссылки на изображения и сопутствующие метаданные. Коллекция имеет свободную лицензию Creative Commons, однако сами изображения этой лицензией не покрываются. Для полноценных загрузки и использования требуется специальный инструмент и сотни терабайт памяти. Также доступны индексы для ускоренного поиска.» Дата обращения: 16 мая 2023.
  14. ↑ Wiggers, Kyle This startup is setting a DALL-E 2-like AI free, consequences be damned (англ.). TechCrunch (12 августа 2022).
  15. ↑ Open-source AI: LAION proposes to openly replicate GPT-4 – a public call (англ.). Heise. Дата обращения: 16 мая 2023.
  16. ↑ Hessie Jones. Amid Growing Call To Pause AI Research, LAION Petitions Governments To Keep AGI Research Open, Active And Responsible (англ.). Forbes (19 апреля 2023). — «В петиции ЛАИОН призвал допустить открытые исследования и доступ к крупным языковым моделям, чтобы не оказаться в ситуации, когда будущее технологий зависит только от Big Tech и их коммерческих интересов.» Дата обращения: 16 мая 2023.
Pause