EleutherAI

EleutherAI возникла как Discord-сервер 7 июля 2020 года под предварительным названием «LibreAI». Через несколько недель проект получил современное имя «EleutherAI» в отсылке к греческому слову eleutheria («свобода»)^[3][4]. Основатели коллектива — Коннор Лихи, Лео Гао и Сид Блэк. В соавторстве они написали код проекта Eleuther, создав открытую платформу для исследований и разработки моделей машинного обучения, аналогичных GPT-3^[5].

30 декабря 2020 года EleutherAI выпустила датасет The Pile — около 800 ГБ тщательно подобранных текстов для обучения больших языковых моделей^[6]. Хотя в опубликованной работе были упомянуты модели GPT-Neo, их релиз состоялся только 21 марта 2021 года^[7]. По словам самих авторов, они не ожидали, что публике будут так интересны «наши маленькие модели»^[8]. В июне 2021 года EleutherAI представила модель GPT-J-6B (шесть миллиардов параметров), которая вновь стала крупнейшей открытой альтернативой GPT-3^[9]. Языковые модели EleutherAI распространяются под лицензией Apache 2.0 и считаются одним из катализаторов запуска новой волны стартапов в области ИИ^[2].

Изначально коллектив отвергал предложения о финансировании, предпочитая использовать вычислительные ресурсы по программе Google TPU Research Cloud^[10]. Позднее, в начале 2021 года, EleutherAI приняла поддержку компаний CoreWeave и SpellML в виде доступа к крупным кластерам GPU для масштабных исследований. 10 февраля 2022 года был выпущен GPT-NeoX-20B — модель, масштабированная благодаря предоставленным ресурсам^[11].

В 2022 году многие участники EleutherAI задействованы в исследовательском воркшопе BigScience: занимались мультизадачной дообучкой^[12][13], обучением модели BLOOM^[14] и разработкой средств для оценки моделей^[14]. Инженеры EleutherAI, Stability AI и NVIDIA вместе с биологами из Колумбийского университета и Гарварда работали над проектом OpenFold — открытой реализацией AlphaFold2^[15][16].

В начале 2023 года EleutherAI преобразовалась в некоммерческий исследовательский институт под управлением Стеллы Бидерман, Кёртиса Хюбнера и Шиваншу Пурохита^[2]. Тогда же коллектив заявил о переходе от масштабирования языковых моделей к работам по интерпретируемости, выравниванию и научным исследованиям^[17]. Сохраняя приверженность открытости, организация сосредоточилась на новых направлениях^[18].

В июле 2024 года расследование студии Proof news показало, что датасет The Pile содержит субтитры более 170 000 видеороликов YouTube с 48 000+ каналов. Это вызвало критику и обвинения в отсутствии согласия со стороны авторов^[19][20]. По состоянию на 2025 год исполнительным директором была Стелла Бидерман, главой отдела политики и этики — Авия Сковрон, главой направления интерпретируемости — Нора Белроуз, а глава по HPC — Квентин Энтони^[21].

Согласно сайту организации, EleutherAI — это «децентрализованный коллектив добровольцев-исследователей, инженеров и разработчиков, сосредоточенный на открытых исследованиях выравнивания ИИ, масштабировании и открытом искусственном интеллекте»^[22]. Организация не занимается коммерциализацией своих разработок, но публикует научные статьи, ведёт блог и делает модели доступными для скачивания и использования бесплатно.

The Pile — датасет (886 ГБ), предназначенный для обучения больших языковых моделей. Изначально создан для тренировки серии GPT-Neo, со временем стал использоваться и для других моделей — включая Megatron-Turing NLG от Microsoft^[23][24], Open Pre-trained Transformers (Meta AI)^[25], LLaMA^[26], Galactica^[27], BioMedLM 2.7B (Стэнфордский университет)^[28], Chinese-Transformer-XL (Пекинская академия искусственного интеллекта)^[29] и YaLM 100B (Яндекс)^[30]. В отличие от других открытых датасетов, The Pile представляет собой тщательно скомпонованную коллекцию, созданную с учётом задач языкового моделирования, и подробно документирован командой EleutherAI.

Наибольшую известность организации принесли открытые языковые модели, вдохновлённые работами OpenAI над GPT-3^[31]. Серии «GPT-Neo» включают языковые модели с 125 миллионами, 1,3 миллиарда, 2,7 миллиарда, 6 миллиардов и 20 миллиардов параметров:

• GPT-Neo (125M, 1,3B, 2,7B):^[32] релиз состоялся в марте 2021 года; на тот момент это была крупнейшая открытая GPT-3-подобная модель.
• GPT-J (6B):^[33] также вышла в марте 2021 года и на момент релиза была самой крупной моделью данного типа^[34].
• GPT-NeoX (20B):^[35] релиз — февраль 2022 года (на тот момент — крупнейшая открытая языковая модель).
• Pythia (13B):^[36] в отличие от более ранних, специально предназначена для научных исследований свойств и процессов обучения LLM: предоставляет 154 контрольные точки тренировок и полный доступ к данным/^[36].

После релиза DALL-E компанией OpenAI в январе 2021 года EleutherAI начала собственные проекты по синтезу изображений по текстовому описанию. Когда OpenAI не опубликовала свои модели, Кэтрин Кроусон и цифровой художник Райан Мёрдок разработали технику, объединяющую CLIP и VQGAN для генерации изображений по тексту^{[39][40][41][42]}. Технологией мгновенно заинтересовалось сообщество: Crowson открыто публиковала notebooks для запуска моделей без сложной настройки^[43][44][45]. По утверждению CEO Stability AI Эмада Мостаки, именно успех VQGAN-CLIP дал толчок основанию Stability AI.

Работы EleutherAI по демократизации GPT-3 получили премию Netexplo Global Innovation от ЮНЕСКО (2021)^[46], были отмечены премией InfoWorld Best of Open Source Software в 2021^[47] и 2022 годах^[48], а также были номинированы на AI Innovation Award от VentureBeat (2021)^[49].

Когнитивист и критик индустрии глубокого обучения Гэри Маркус неоднократно^[50] хвалил прозрачность и открытость EleutherAI.

Максимилиан Гантц из Mozilla Foundation подчеркнул значимость проектов EleutherAI для независимого аудита ИИ: «Если модели и датасеты открытые — это даст гораздо больше возможностей для критического анализа и устранения вреда от генеративного ИИ, который иначе редко доступен»^[51].

Журналист Кайл Виггерс выражал сомнения в полной независимости EleutherAI, указывая на участие коммерческих структур вроде Stability AI и Hugging Face (получающих венчурные инвестиции), и их потенциальное влияние на исследования коллектива^[52].