Ответ на вопрос
EleutherAI
EleutherAI — некоммерческая независимая исследовательская группа в области искусственного интеллекта, созданная с акцентом на открытость и коллективное участие. Группа, которую зачастую называют свободной альтернативой OpenAI, была основана в июле 2020 года на платформе Discord Коннором Лихи, Сидом Блэком и Лео Гао[1] для организации репликации GPT-3. В начале 2023 года коллектив был официально зарегистрирован как некоммерческий исследовательский институт EleutherAI Institute[2].
Общие сведения
| EleutherAI | |
|---|---|
| URL | eleuther.ai |
| Коммерческий | нет |
| Тип сайта | исследовательский кооператив |
| Регистрация | необязательная |
| Язык (-и) | английский |
| Язык программирования | Python |
| Владелец | EleutherAI Institute |
| Начало работы | 2020 |
| Текущий статус | активен |
| Страна | |
История
EleutherAI возникла как Discord-сервер 7 июля 2020 года под предварительным названием «LibreAI». Через несколько недель проект получил современное имя «EleutherAI» в отсылке к греческому слову eleutheria («свобода»)[3][4]. Основатели коллектива — Коннор Лихи, Лео Гао и Сид Блэк. В соавторстве они написали код проекта Eleuther, создав открытую платформу для исследований и разработки моделей машинного обучения, аналогичных GPT-3[5].
30 декабря 2020 года EleutherAI выпустила датасет The Pile — около 800 ГБ тщательно подобранных текстов для обучения больших языковых моделей[6]. Хотя в опубликованной работе были упомянуты модели GPT-Neo, их релиз состоялся только 21 марта 2021 года[7]. По словам самих авторов, они не ожидали, что публике будут так интересны «наши маленькие модели»[8]. В июне 2021 года EleutherAI представила модель GPT-J-6B (шесть миллиардов параметров), которая вновь стала крупнейшей открытой альтернативой GPT-3[9]. Языковые модели EleutherAI распространяются под лицензией Apache 2.0 и считаются одним из катализаторов запуска новой волны стартапов в области ИИ[2].
Изначально коллектив отвергал предложения о финансировании, предпочитая использовать вычислительные ресурсы по программе Google TPU Research Cloud[10]. Позднее, в начале 2021 года, EleutherAI приняла поддержку компаний CoreWeave и SpellML в виде доступа к крупным кластерам GPU для масштабных исследований. 10 февраля 2022 года был выпущен GPT-NeoX-20B — модель, масштабированная благодаря предоставленным ресурсам[11].
В 2022 году многие участники EleutherAI задействованы в исследовательском воркшопе BigScience: занимались мультизадачной дообучкой[12][13], обучением модели BLOOM[14] и разработкой средств для оценки моделей[14]. Инженеры EleutherAI, Stability AI и NVIDIA вместе с биологами из Колумбийского университета и Гарварда работали над проектом OpenFold — открытой реализацией AlphaFold2[15][16].
В начале 2023 года EleutherAI преобразовалась в некоммерческий исследовательский институт под управлением Стеллы Бидерман, Кёртиса Хюбнера и Шиваншу Пурохита[2]. Тогда же коллектив заявил о переходе от масштабирования языковых моделей к работам по интерпретируемости, выравниванию и научным исследованиям[17]. Сохраняя приверженность открытости, организация сосредоточилась на новых направлениях[18].
В июле 2024 года расследование студии Proof news показало, что датасет The Pile содержит субтитры более 170 000 видеороликов YouTube с 48 000+ каналов. Это вызвало критику и обвинения в отсутствии согласия со стороны авторов[19][20]. По состоянию на 2025 год исполнительным директором была Стелла Бидерман, главой отдела политики и этики — Авия Сковрон, главой направления интерпретируемости — Нора Белроуз, а глава по HPC — Квентин Энтони[21].
Исследования
Согласно сайту организации, EleutherAI — это «децентрализованный коллектив добровольцев-исследователей, инженеров и разработчиков, сосредоточенный на открытых исследованиях выравнивания ИИ, масштабировании и открытом искусственном интеллекте»[22]. Организация не занимается коммерциализацией своих разработок, но публикует научные статьи, ведёт блог и делает модели доступными для скачивания и использования бесплатно.
The Pile
The Pile — датасет (886 ГБ), предназначенный для обучения больших языковых моделей. Изначально создан для тренировки серии GPT-Neo, со временем стал использоваться и для других моделей — включая Megatron-Turing NLG от Microsoft[23][24], Open Pre-trained Transformers (Meta AI)[25], LLaMA[26], Galactica[27], BioMedLM 2.7B (Стэнфордский университет)[28], Chinese-Transformer-XL (Пекинская академия искусственного интеллекта)[29] и YaLM 100B (Яндекс)[30]. В отличие от других открытых датасетов, The Pile представляет собой тщательно скомпонованную коллекцию, созданную с учётом задач языкового моделирования, и подробно документирован командой EleutherAI.
Серии моделей GPT
Наибольшую известность организации принесли открытые языковые модели, вдохновлённые работами OpenAI над GPT-3[31]. Серии «GPT-Neo» включают языковые модели с 125 миллионами, 1,3 миллиарда, 2,7 миллиарда, 6 миллиардов и 20 миллиардов параметров:
- GPT-Neo (125M, 1,3B, 2,7B):[32] релиз состоялся в марте 2021 года; на тот момент это была крупнейшая открытая GPT-3-подобная модель.
- GPT-J (6B):[33] также вышла в марте 2021 года и на момент релиза была самой крупной моделью данного типа[34].
- GPT-NeoX (20B):[35] релиз — февраль 2022 года (на тот момент — крупнейшая открытая языковая модель).
- Pythia (13B):[36] в отличие от более ранних, специально предназначена для научных исследований свойств и процессов обучения LLM: предоставляет 154 контрольные точки тренировок и полный доступ к данным/[36].
VQGAN-CLIP
.jpg)
.jpg)
После релиза DALL-E компанией OpenAI в январе 2021 года EleutherAI начала собственные проекты по синтезу изображений по текстовому описанию. Когда OpenAI не опубликовала свои модели, Кэтрин Кроусон и цифровой художник Райан Мёрдок разработали технику, объединяющую CLIP и VQGAN для генерации изображений по тексту[39][40][41][42]. Технологией мгновенно заинтересовалось сообщество: Crowson открыто публиковала notebooks для запуска моделей без сложной настройки[43][44][45]. По утверждению CEO Stability AI Эмада Мостаки, именно успех VQGAN-CLIP дал толчок основанию Stability AI.
Общественная оценка
Признание
Работы EleutherAI по демократизации GPT-3 получили премию Netexplo Global Innovation от ЮНЕСКО (2021)[46], были отмечены премией InfoWorld Best of Open Source Software в 2021[47] и 2022 годах[48], а также были номинированы на AI Innovation Award от VentureBeat (2021)[49].
Когнитивист и критик индустрии глубокого обучения Гэри Маркус неоднократно[50] хвалил прозрачность и открытость EleutherAI.
Максимилиан Гантц из Mozilla Foundation подчеркнул значимость проектов EleutherAI для независимого аудита ИИ: «Если модели и датасеты открытые — это даст гораздо больше возможностей для критического анализа и устранения вреда от генеративного ИИ, который иначе редко доступен»[51].
Критика
Журналист Кайл Виггерс выражал сомнения в полной независимости EleutherAI, указывая на участие коммерческих структур вроде Stability AI и Hugging Face (получающих венчурные инвестиции), и их потенциальное влияние на исследования коллектива[52].