BLOOM

Эта продвинутая ИИ-модель была создана во Франции в рамках международного коллаборативного проекта BigScience, который курирует компания Hugging Face. В задачи BigScience входит развитие передовых моделей искусственного интеллекта с приоритетом открытой науки и прозрачности; проект поддерживается такими институтами, как CNRS и GENCI, и объединяет мировое сообщество учёных, стремящихся сделать технологии ИИ более доступными и при этом способствовать ответственной модели управления, включая ограничения на неэтичное использование^[2].

BLOOM изначально предназначен для генерации связного текста на 46 языках (позднее более чем 50), а также на более чем 10 языках программирования (C, C#, C++, Go, Java, JavaScript, Lua, PHP, Python, Rust, Scala и TypeScript). Архитектура использует технологию трансформеров, однако реализует только декодерную часть: модель Transformer «декодер» занимается исключительно генерацией текста, предсказывая каждое следующее слово на основании уже сгенерированных токенов, без отдельной энкодерной составляющей (в отличие, например, от моделей для машинного перевода). BLOOM обучалась на датасете объёмом 1,6 ПБ (корпус ROOTS^[3]), который объединяет данные из последней версии веб-корпуса OSCAR (38 % от ROOTS) и новое текстовое содержание из отобранных и вручную описанных источников. Объём обучающего корпуса составил около 350 миллиардов токенов; вычисления и обучение проходили на суперкомпьютере Жан Зай (CNRS). Имея 176 миллиардов параметров, BLOOM относится к самым масштабным языковым моделям. Работа возможна на вычислительном кластере из 8 GPU по 80 ГБ каждый, а компания Hugging Face также предлагает облачную версию, доступную через веб-интерфейс.

С мая 2021 по май 2022 года в проекте участвовало более 1000 исследователей из 60 стран, которые обучали модель на большом корпусе текстовых данных с использованием мощности суперкомпьютера Жан Зай (CNRS), обеспечившего пик производительности до 28 петафлопс.

В 2023—2025 годах проект расширился за счёт новых учебных корпусов, увеличился спектр поддерживаемых языков до 46 естественных и 13 языков программирования и ещё более укрепил акцент на этике и открытости научных данных.

BLOOM распространяется по лицензии «BigScience RAIL License» — это open source-лицензия пермиссивного типа: разрешается свободное распространение и модификация, но накладываются этические ограничения на использование, превышая обычные требования свободного ПО. Лицензия BLOOM запрещает применять модель для целей, противоречащих закону или признанных неэтичными^[4]. В частности, не допускается использование BLOOM:

• для приложений, нарушающих применимые законы и нормативы;
• для нанесения вреда или попыток навредить несовершеннолетним;
• для генерации/распространения фейковой информации с целью причинения вреда;
• для генерации/публикации персональных данных, способных навредить человеку;
• для публикации информации, созданной ИИ, без указания машинного происхождения;
• для клеветы, оскорблений и домогательств;
• для попыток выдачи себя за другого человека;
• для полностью автоматизированных решений, затрагивающих законные права личности;
• для дискриминации и вреда пользователям или группам — как онлайн, так и офлайн, на основе социального поведения или личных характеристик;
• для эксплуатации уязвимостей социальной группы (возраст, физические, ментальные или социальные особенности) с целью искажать поведение во вред человеку или другим лицам;
• для использования, нацеленного на дискриминацию по закреплённым законодательством признакам;
• для выдачи медицинских консультаций и интерпретации медицинских результатов;
• для создания информации или анализа данных, которые могут быть использованы в порядке правосудия, иммиграции или следственных процедур (например, предсказания совершения преступления или мошенничества на основе текстового анализа).

В 2022 году были произведены оценки углеродного следа BLOOM. В отличие от большинства моделей, где учитывается только энергопотребление в процессе обучения, в случае BLOOM принимались во внимание также изготовление оборудования, промежуточное обучение и развёртывание^[3]:

• Обучение BLOOM привело к выбросу около 81 тонны эквивалента CO₂, включая производство оборудования (14 %, 11 т), прямое энергопотребление во время обучения (30 %, 25 т) и потребление в периоды простоя (55 %, 45 т)^[3].
• Энергопотребление BLOOM (433 МВт⋅ч) немного выше, чем у OPT^{[note 1]} (324 МВт⋅ч), однако прямые выбросы (25 т) на 2/3 ниже, чем у OPT (70 т), благодаря преимущественно «чистой» (ядёрной) электроэнергии при обучении BLOOM (57 г CO₂-экв/кВт⋅ч против 231 г для OPT). Как BLOOM, так и OPT имеют существенно меньший углеродный след по сравнению с GPT-3 за счёт более эффективного оборудования и низкоуглеродных источников энергии. Завершительная фаза обучения BLOOM составляет около 37 % общих выбросов; остальные 63 % приходятся на промежуточное обучение и тесты^[3].
• Развёртывание API BLOOM на облачной платформе GCP с использованием 16 GPU в регионе us-central1 приводит к выбросу около 20 кг CO₂ в сутки (или 0,83 кг/ч), в зависимости от аппаратных и программных особенностей^[3].

BLOOM тестировался с помощью расширения фреймворка Language Model Evaluation Harness^[5] от EleutherAI, который интегрирует библиотеку promptsource (open source-инструмент), на разных типах наборов данных и вариантах prompting^[6][7] и способов контекстуализации запросов^[3].

Первые промпты для BLOOM разрабатывались вручную ещё до официального релиза, чтобы имитировать результаты, которые мог бы получить новый пользователь^[3].