Huawei PanGu
Huawei PanGu — многоуровневая большая языковая модель (Large Language Model, LLM), разработанная компанией Huawei. Также обозначается как PanGu, PanGu-Σ или PanGu-π. Официально представлена 7 июля 2023 года[1]. Название модели PanGu восходит к китайской мифологии и фольклору, где Паньгу — первосоздатель мира[2].
Общие сведения
| Huawei PanGu | |
|---|---|
| Тип | большой языковой модель |
| Разработчик | Huawei |
| Языки интерфейса | китайский, английский, русский |
| Первый выпуск | 7 июля 2023 |
| Последняя версия | 5.0 (21 июня 2024) |
| Лицензия | проприетарная |
История
В апреле 2023 года Huawei опубликовала научную статью о разработке модели PanGu-Σ, масштабной языковой модели с 1,085 триллиона параметров. Модель создавалась на платформе MindSpore 5 и обучалась более 100 дней на 512 ускорителях Ascend 910 AI, обрабатывая 329 миллиардов токенов на 40+ естественных и языках программирования[3].
В PanGu-Σ реализованы механизмы Random Routed Experts (RRE) и архитектура декодера Transformer, что позволяет гибко использовать подмодели в задачах, включая диалоговые системы, машинный перевод, генерацию кода и интерпретацию естественного языка. По заявлению разработчиков, обучение происходит в 6,3 раза быстрее, чем у моделей MoE с теми же гиперпараметрами. В китайском языковом домене PanGu-Σ превосходит предыдущие модели по 16 задачам в режиме zero-shot. Обучение проводилось на датасетах из 40 областей, включая китайский, английский, двуязычные корпуса и программный код, что обеспечивает высокие результаты при few-shot обучении, генерации ответов, открытом диалоге, машинном переводе и создании кода[4].[5]
На конференции Huawei Developer Conference 7 июля 2023 года был представлен PanGu 3.0 — большая языковая модель, ориентированная на такие отрасли, как государственный сектор, финансы, производство, добыча полезных ископаемых и метеорология, с применением решений на базе . В следующем месяце компания выпустила виртуального помощника Celia, оснащённого AI-функциями для генерации длинного текста по голосовым командам, который был включён в HarmonyOS 4.0[6].[7]
LLM Huawei ориентирована на корпоративный сектор и оптимизирована для прикладных задач — в отличие от традиционных мультимодальных моделей для генерации текста, поэзии и визуального контента[8].
По архитектуре, схожей с ChatGPT, модель Huawei использует иерархический подход, позволяя заказчикам адаптировать модель под собственные задачи и выполнять обучение на своих датаcетах[9].
5 августа 2023 года Huawei совместно с ЕЦСПП (ECMWF) запустила глобальную AI-модель прогноза погоды на базе PanGu-Weather и MindSpore, доступную на сайте ECMWF[10].[11]
19 декабря 2023 года Huawei анонсировала платформу финансовых сервисов на базе PanGu для глобального рынка — решение Fintech с применением искусственного интеллекта, аналитики больших данных и блокчейна, представленное на Huawei Cloud Fintech Summit 2023[12].
21 июня 2024 года на HDC 2024 компания анонсировала обновлённую версию PanGu 5.0 и HarmonyOS NEXT, в которой платформа LLM интегрирована с Harmony Intelligence и акцентирована на генеративных функциях (текст, код, изображения). Для широкого круга компаний и разработчиков реализованы масштабируемые варианты: от малых моделей для ограниченных ресурсов до крупных решений для сложных задач[13].
Технические особенности
Модель PanGu 3.0 для индустриальных задач построена по трёхуровневой архитектуре 5+N+X[14].
- Первый уровень (L0): пять базовых крупных моделей PanGu, обеспечивающих различные функции — NLP, компьютерное зрение, мультимодальность, моделирование и научные вычисления.
- Второй уровень (L1): множество предметных моделей, обучаемых на открытых и клиентских промышленно-отраслевых данных (госуправление, финансы, производство, добыча, погода).
- Третий уровень (L2): детализированные модели под конкретные сценарии, кастомизируемые под бизнес-процессы клиента.
В версии PanGu 5.0 (Huawei Cloud) платформа делится на четыре серии, различающиеся по масштабам параметров и сферам применения:[15]
- PanGu E Series: Embedded-версия для мобильных устройств, планшетов, ПК и встраиваемых решений, 1 млрд параметров.
- PanGu P Series: Professional-версия, 10 млрд параметров, оптимальна для задач с низкой задержкой и малым бюджетом.
- PanGu U Series: Ultra-версия на 135 и 230 млрд параметров, подходит для сложных задач и как основа для новых LLM.
- PanGu S Series: Super PanGu — топовая серия, содержит триллион параметров для кросс-доменных и многозадачных приложений.
Выпуски
Контroversии
4 июля 2025 года на GitHub появились утверждения, что модель Pangu Pro MoE имеет чрезвычайно высокое сходство распределения параметров внимания с моделью Qwen корпорации Alibaba Group, согласно анализу с помощью «отпечатков модели». На следующий день команда Huawei Noah’s Ark Lab заявила, что PanGu создана с нуля на аппаратной платформе Ascend, не является производным продуктом других моделей и полностью соответствует open source-лицензиям. Исходный репозиторий-источник обвинений был удалён[16].[17][18]