Найти статью
GPT-J
GPT-J — открытая большая языковая модель (LLM), разработанная проектом EleutherAI в 2021 году[1]. Как следует из названия, модель относится к типу генеративный предварительно обученный трансформер (GPT) и предназначена для создания связного текста, продолжая заданный пользователем фрагмент. Вариант названия «6B» указывает на количество параметров — 6 миллиардов[2]. Исходный код GPT-J опубликован на GitHub, однако веб-интерфейс уже не предоставляет доступ к генерации текста. Разработка модели была прекращена в 2021 году[3].
Общие сведения
Что важно знать
| GPT-J | |
|---|---|
| Тип | Большая языковая модель, генеративный предварительно обученный трансформер, модель-основа |
| Разработчик | EleutherAI |
| Первый выпуск | 9 июня 2021 |
| Лицензия | Apache License 2.0 |
| Сайт | 6b.eleuther.ai (англ.) |
Архитектура
GPT-J — модель, аналогичная GPT-3, с количеством параметров 6 миллиардов[4]. Как и GPT-3, GPT-J представляет собой авторегрессионную нейросеть на основе декодирующей архитектуры трансформера, предназначенную для решения задач обработки естественного языка путём прогнозирования продолжения текстового фрагмента[1].
Архитектура GPT-J отличается от GPT-3 по трём основным признакам[1].
- На этапе обучения вычисления механизма внимания и полносвязной нейросети проводились параллельно, что повысило эффективность.
- Модель GPT-J использует ротари-позиционные встраивания, которые показали себя как более эффективный способ передачи позиционной информации трансформерам[5].[6]
- GPT-J использует плотный механизм внимания, в отличие от эффективного разреженного внимания, применяемого в GPT-3.
В остальном модель состоит из 28 слоёв трансформера и 16 голов внимания. Размер словаря модели составляет 50 257 токенов — столько же, сколько у GPT-2[2] Размер контекстного окна GPT-J — 2048 токенов.[7].
Обучение производилось на датасете The Pile[2][4] а в качестве инфраструктуры использовалась библиотека Mesh Transformer JAX (JAX) с поддержкой широких параллельных вычислений.[2][8],
Производительность
GPT-J предназначена для генерации англоязычного текста по текстовой подсказке. Модель не рассчитана на перевод или генерацию текста на других языках, а также на решение прикладных задач без дополнительного дообучения под конкретное применение[2] Тем не менее, даже без дообучения GPT-J демонстрирует приемлемые результаты, в том числе в переводе текста (по меньшей мере с английского на французский).[9].
Без дополнительной настройки GPT-J-6B показывает почти такие же результаты, что и GPT-3 на 6,7 млрд параметров (Curie), на ряде задач[4] В задачах генерации кода GPT-J превосходит даже GPT-3 на 175 млрд параметров (Davinci).[10]. После дообучения модель превосходит не дообученный GPT-3 (Davinci) по ряду сценариев[1]
Как и все крупные языковые модели, GPT-J не гарантирует фактологической достоверности получаемой информации — она строит текст на основе вероятностной оценки наиболее вероятного продолжения.[2]
Применение
Не дообученная (базовая) версия GPT-J доступна на сайте EleutherAI,[11]. на сервере Triton Inference компании NVIDIA[12], а также на сайте NLP Cloud[13]. Компании Cerebras[1] и Amazon Web Services[14][15] предоставляют услуги дообучения GPT-J для корпоративных нужд. Graphcore предлагает как дообучение, так и хостинг модели (в исходном и дообученном вариантах)[16]. Компания CoreWeave предоставляет услуги хостинга как для базовой, так и для специализированных версий GPT-J[17].[18]
В марте 2023 года компания Databricks выпустила модель Dolly — Apache-лицензированную языковую модель с поддержкой инструкций, полученную дообучением GPT-J на датасете Stanford Alpaca[19]. Модели Sigurd[20] и Genji-JP 6B[21] от NovelAI также основаны на дообученных версиях GPT-J. NovelAI предоставляет сервисы по дальнейшему дообучению и хостингу кастомных моделей[22].
EleutherAI получила положительные отклики за открытие исходного кода модели со стороны Cerebras[1] GPT-3 Demo,[4] NLP Cloud,[13] Databricks,[19], а также других компаний. Открытость модели часто отмечается как важное преимущество при выборе LLM[10].[16][23]
