OpenCV

Официально проект OpenCV был запущен в 1999 году как инициатива исследовательского центра Intel Research по разработке эффективных вычислительных приложений высокой производительности, в ряду проектов, связанных с трассировкой лучей и 3D-мониторами. Основной вклад в разработку внесли сотрудники Intel Россия и команда по оптимизации библиотек Intel. Изначально были сформулированы следующие цели:

• Содействовать развитию научных исследований в области компьютерного зрения, предоставив не просто открытый, но и оптимизированный код для базовых задач, пригодный для изучения и повторного использования;
• Содействовать коммерческим приложениям, основанным на компьютерном зрении, предоставив портируемый и оптимизированный код бесплатно, с лицензией, не обязывающей дальнейшее распространение в открытом виде.

OpenCV применяется для анализа изображений и видео в реальном времени в задачах искусственного интеллекта (ИИ) и машинного обучения (ML), обеспечивая предварительную обработку изображений и видеопотоков перед подачей их на вход моделей машинного и глубокого обучения (DL)^[2]. Предварительная обработка может включать изменение размеров, преобразование цветового пространства (BGR↔RGB), подавление шумов, улучшение качества (выделение признаков алгоритмами SIFT, SURF, FAST для поиска ключевых точек), обработку видеопотока в реальном времени (оптический поток), удаление фона, обнаружение объектов (например, каскады Хаара для распознавания лиц), геометрическое понимание и калибровку камеры, анализ и реконструкцию сцен (3D), применение классических алгоритмов ML (SVM, KNN)^[2].

OpenCV интегрируется с библиотеками машинного обучения PyTorch и TensorFlow: тогда как последние используются для построения и обучения нейронных сетей, OpenCV обеспечивает ввод/вывод, преобразование и постобработку визуальных данных (например, отрисовка ограничивающих прямоугольников или масок сегментации на изображениях на основе работы моделей)^[2].

OpenCV используется в различных задачах искусственного интеллекта и машинного обучения:

• Автономные транспортные средства: в автомобилях и в системах помощи водителю (ADAS) OpenCV применяется для предварительной обработки данных с камеры и LiDAR: обнаружения дорожной разметки, распознавания препятствий (сопоставление признаков), выделения контуров, распознавания дорожных знаков (классификация обработанных изображений), сшивки изображений в системах кругового обзора^[2]. Необработанные кадры камеры корректируются (исправляется искажение, настраивается яркость) для дальнейшей передачи в YOLOv8 — модель глубокого обучения, обнаруживающую автомобили и пешеходов^[2];

• Медицинская визуализация: OpenCV обрабатывает различные форматы медицинских изображений (например, DICOM), повышает контраст для поиска аномалий, сегментирует области интереса (опухоли, органы) с применением алгоритмов пороговой обработки или водораздела, выполняет регистрацию изображений, сделанных в разное время^[2]. Обработанные данные далее анализируются специализированными моделями машинного обучения для диагностики (например, в радиологии — RSNA);

• Другие области: робототехника (интеграция компьютерного зрения с роботами^[2]), видеонаблюдение (security alarm systems^[2]), дополненная и виртуальная реальность, управление сельским хозяйством (оценка состояния растений), интерфейсы взаимодействия человека и компьютера (HCI), системы распознавания лиц, распознавание движений, мобильные роботы, реконструкция 3D-сцен; программный пакет Opentoonz использует OpenCV для ряда задач машинного зрения.

Библиотека OpenCV поддерживает следующие платформы: Android^[3], BlackBerry 10^[4], FreeBSD, iOS^[5], Linux, Maemo^[6], OpenBSD, macOS и Windows.

• cv — основной модуль с базовыми функциями и алгоритмами компьютерного зрения;
• cvaux — экспериментальные алгоритмы компьютерного зрения;
• cxcore — работа со структурами данных и линейной алгеброй;
• highgui — пользовательский интерфейс и поддержка устройств ввода;
• ml — обработка изображений с помощью алгоритмов машинного обучения;
• dnn — обработка изображений с использованием глубокого обучения;
• ed — инструменты и методы работы со структурами данных.

OpenCV написан на C++, его основной программный интерфейс (API) реализован на C++, однако по-прежнему поддерживается обширная, но менее универсальная, старая платформа, т. н. C-интерфейс. Все новые разработки и алгоритмы добавляются в C++-интерфейс. Кроме того, существуют привязки для Python (например, функции OpenCV cv.line^[7], cv2.cvtcolor^[8], cv2.circle^[9]), Java, MATLAB/Octave. Документация по API для этих языков размещена в открытом доступе^[10].

Для расширения аудитории в различных языках программирования разработаны дополнительные обёртки. C версии 3.4 в составе библиотеки появилась поддержка JavaScript в виде OpenCV.js — реализации части функциональности OpenCV для использования в веб-проектах^[11].

Использование некоторых алгоритмов библиотеки предполагает высокий уровень математических и программных знаний^[1]; производительность может варьироваться в зависимости от аппаратного обеспечения и сложности решаемых задач^[1].