Orange (программное обеспечение)

Orange — компонентный программный пакет для визуального программирования, ориентированный на задачи визуализации данных, машинного обучения, интеллектуального анализа и анализа данных.

Базовые элементы Orange называются виджетами. Они реализуют функции от простой визуализации, отбора подмножеств и предобработки данных до эмпирической оценки обучающих алгоритмов и построения предикативных моделей.

Визуальное программирование реализовано через интерфейс, позволяющий строить рабочие процессы путём соединения заранее определённых или пользовательских виджетов. Продвинутые пользователи могут использовать Orange как библиотеку Python для анализа данных и модификации виджетов^[4].

Orange — открытое программное обеспечение с исходным кодом, распространяемое по лицензии GPL, проект размещён на GitHub. До версии 3.0 основные компоненты были написаны на C++, с обёртками на Python. С переходом к версии 3.0 Orange стала использовать популярные научные библиотеки на Python, такие как NumPy, SciPy, scikit-learn, а графический интерфейс реализован на кроссплатформенном фреймворке Qt.

В стандартную установку входят алгоритмы машинного обучения, предобработки и визуализации данных, сгруппированные в 6 наборах виджетов («data», «transform», «visualize», «model», «evaluate», «unsupervised»). Дополнительные возможности доступны через расширения (текстовый анализ, анализ изображений, биоинформатика и др.).

Orange поддерживает macOS, Windows и Linux, также может быть установлен из репозитория Python Package Index (pip install Orange3).

Orange предоставляет холстовый графический интерфейс, на котором пользователь размещает виджеты, формируя рабочий процесс анализа данных. Виджеты реализуют базовые функции, такие как загрузка данных, просмотр таблицы, выбор признаков, обучение предсказательных моделей, сравнение алгоритмов обучения, визуализация и др. Пользователь может интерактивно исследовать результаты визуализации или передавать выбранные данные в другие виджеты.

• Холст: графический интерфейс для анализа данных
• Виджеты:
  • Data: ввод данных, фильтрация, выборка, импутация, работа с признаками и их отбором
  • Visualize: базовые и многомерные визуализации (ящик с усами, гистограммы, диаграммы рассеяния, мозаичные диаграммы, sieve diagrams)
  • Classify: обучаемые алгоритмы классификации
  • Regression: обучаемые алгоритмы регрессии
  • Evaluate: кросс-валидация, процедуры на выборках, оценка надёжности и подсчёт метрик методов предсказания
  • Unsupervised: алгоритмы обучения без учителя (кластеризация — k-средних, иерархическая кластеризация, методы проекции: многомерное шкалирование, анализ главных компонент, корреспонденционный анализ)

Пользователи Orange могут расширить функциональность, подключив дополнения:

• Associate: анализ частых наборов и поиск ассоциативных правил
• Bioinformatics: анализ экспрессии генов, обогащённость, доступ к базам данных (например, Gene Expression Omnibus) и библиотекам путей
• Data fusion: объединение различных наборов данных, совместная факторизация матриц, исследование скрытых факторов
• Educational: обучающие компоненты по машинному обучению (кластеризация k-means, полиномиальная регрессия, стохастический градиентный спуск и др.)
• Explain: компоненты для интерпретации моделей, включая анализ значений Шепли
• Geo: работа с геопространственными данными
• Image analytics: обработка изображений и работа с эмбеддингами ImageNet
• Network: анализ графов и сетей
• Text mining: компоненты для обработки естественного языка и интеллектуального анализа текстов
• Time series: анализ и моделирование временных рядов
• Single-cell: поддержка анализа экспрессии генов на уровне одной клетки (загрузка, фильтрация, устранение batch-эффектов, определение маркерных генов, оценка клеток и предсказание типа клетки)

• Spectroscopy: анализ и визуализация (гипер)спектральных данных^[5]
• Survival analysis: анализ данных с выживаемостью — набор виджетов для основных методов (график Каплана — Майера, регрессия Кокса и др.)
• World Happiness: загрузка социально-экономических данных из различных баз (OECD, World Development Indicators), доступ к тысячам показателей по странам
• Fairness: оценка и построение честных моделей машинного обучения без дискриминации (метрики честности, методы пост-, пре- и промежуточной обработки)^[6]

Orange обеспечивает платформу для экспериментального выбора моделей, рекомендательные системы и предиктивное моделирование. Применяется в биомедицине, биоинформатике, геномных исследованиях и образовании. В науке используется для тестирования новых алгоритмов машинного обучения и внедрения новых методов в генетике и биоинформатике; в образовательных целях — для преподавания методов анализа данных студентам биологии, биомедицины и информатики.

Существуют проекты, которые используют либо расширяют Orange, добавляя собственные модули или используя визуальный интерфейс Canvas для реализации прикладных задач.

• OASYS (ORange SYnchrotron Suite)^[7]
• scOrange — инструментарий для биостатистики одиночных клеток
• Quasar — анализ данных в естественных науках

В 1996 году Люблянский университет и Институт Йожефа Штефана начали разработку ML* — фреймворка машинного обучения на C++, а в 1997 году были разработаны Python-обёртки. Эта интеграция и модульная архитектура послужили фундаментом для Orange. В последующие годы большинство популярных алгоритмов машинного обучения и анализа данных были реализованы на C++ (ядро Orange) или в Python-модулях.

• 2002 — прототипы гибкого графического интерфейса на Pmw Python megawidgets.
• 2003 — переработка интерфейса с использованием Qt и Python-биндингов PyQt, развитие концепции виджетов.
• 2005 — расширения для анализа данных в биоинформатике.
• 2008 — разработка Mac OS X DMG и Fink-пакетов.
• 2009 — создано и поддерживалось более 100 виджетов.
• 2009 — выход Orange 2.0 beta, дистрибутивы собирались ежедневно.
• 2012 — переход к новой объектной иерархии, отказ от модульной структуры.
• 2013 — крупное обновление интерфейса: новый набор инструментов и представление рабочей схемы.
• 2015 — выход Orange 3.0: хранение данных — в массивах NumPy; алгоритмы машинного обучения — в основном из scikit-learn.
• 2015 — появление расширения Text Mining для Orange 3.
• 2016 — выпуск версии 3.3, установлен месячный цикл стабильных релизов.
• 2016 — разработка и выпуск дополнения Image Analytics, серверные нейросети для извлечения признаков изображений^[8]
• 2017 — дополнение для спектроскопии спектральных данных^[9]
• 2017 — появление Geo — дополнения для геоданных и отображения карты^[10]
• 2018 — начало выпуска расширения для анализа одиночных клеток^[11]
• 2019 — выделение графического интерфейса как отдельного проекта orange-canvas-core^[12]
• 2020 — появление расширения Explain для интерпретации моделей классификации и регрессии, выявления влияния отдельных признаков.
• 2022 — расширение World Happiness для работы с социально-экономическими данными (World Happiness Report, World Development Indicators, OECD).
• 2022 — добавление в Explain функций Individual Conditional Expectation и Permutation Feature Importance.
• 2023 — расширение Fairness для расчёта метрик смещения и реализации методов пред- и пост-обработки для борьбы с дискриминацией в моделях.