Gensim
Gensim — это открытая библиотека для обучения без учителя, предназначенная для тематического моделирования, индексации документов, поиска по сходству и других задач обработки естественного языка, основанная на современных статистических методах машинного обучения.
Gensim реализована на Питоне и Cython для повышения производительности. Библиотека спроектирована для работы с большими коллекциями текстов посредством потоковой обработки данных и инкрементальных онлайн-алгоритмов, что отличает её от большинства других пакетов машинного обучения, ориентированных только на обработку в оперативной памяти.
Для актуальных версий библиотеки требуется Python версии 3.9 или выше[2], так как поддержка Python 2.7 была прекращена с выходом версии 4.0.0[3].
Общие сведения
| Gensim | |
|---|---|
| Тип | Информационный поиск |
| Автор | Радим Ржегурек |
| Разработчик | RARE Technologies Ltd. |
| Написана на | Python, Cython |
| Операционные системы | Linux, Windows, macOS |
| Первый выпуск | 2009 |
| Последняя версия |
|
| Репозиторий | github.com/RaRe-Technolo… |
| Лицензия | LGPL |
| Сайт | radimrehurek.com/gensim/ |
Возможности
Gensim включает потоковые и параллелизированные реализации алгоритмов fastText[4], word2vec и doc2vec[5], а также латентно-семантический анализ (LSA, LSI, SVD), неотрицательная матричная факторизация (NMF), латентное размещение Дирихле (LDA), tf-idf и случайные проекции.
В библиотеке также реализованы дополнительные модели, среди которых Ensemble LDA (eLDA) для извлечения стабильных тем с помощью ансамбля моделей без необходимости заранее задавать их количество[6], вложения Пуанкаре (Poincaré embeddings) для иерархических представлений данных[7], а также Author-Topic Model и Dynamic Topic Model (DTM)[8][9].
Ряд оригинальных онлайн-алгоритмов Gensim также был представлен в диссертации Радима Ржегурека «Scalability of Semantic Analysis in Natural Language Processing» (2011)[10].
Развитие методов семантического поиска также отражено в совместной статье Ржегурека 2017 года «Semantic vector encoding and similarity search using fulltext search engines»[11].
Использование
Библиотека Gensim по состоянию на 2018 год применяется и цитируется более чем в 1400 коммерческих и академических проектах[12], охватывающих широкий спектр областей — от медицины и анализа страховых претензий до патентного поиска[13]. Программное обеспечение освещалось в новостных публикациях, подкастах и интервью[14].[15][16]
В 2017—2018 годах Радим Ржегурек также представлял проект на профильных конференциях, включая выступления с ключевыми докладами на ECIR 2018 и PyData Warsaw 2017, а также участие в Machine Learning Prague 2018[17].[18][19]
Свободная и коммерческая поддержка
Открытый исходный код Gensim разрабатывается и размещается на GitHub[20], а поддержка сообщества осуществляется через Google Groups[21] и Gitter[22].
Gensim также коммерчески поддерживается компанией rare-technologies.com, которая ранее предлагала программу менторства для студентов и исследовательские стажировки по проекту Gensim через свой Инкубатор, однако эта программа была прекращена и больше не является активной[23]. |url=https://rare-technologies.com/incubator/ |title=Открытый инкубатор Gensim |website=rare-technologies.com |lang=en |access-date=29 июня 2024 |archive-url=https://web.archive.org/web/20250209112135/https://rare-technologies.com/incubator/%7Carchive-date=2025-02-09}}</ref>.