Snorkel

Snorkel предоставляет полный набор инструментов для программной разметки данных и построения моделей машинного обучения.

• Функции разметки — небольшие фрагменты кода на Python, описывающие правила, шаблоны или внешние источники знаний, которые присваивают метки подмножествам необработанных данных. Каждая LF может голосовать «за» класс или воздерживаться^[3].
• Генеративная модель агрегирует шумные и потенциально противоречивые выходы LFs, оценивая их точность и корреляции без обращения к «истинным» меткам. На её основе формируются вероятностные метки^[4].
• Вероятностные метки — числа в диапазоне 0-1, отражающие степень уверенности в принадлежности объекта к классу. Они используются для обучения дискриминативных моделей (например, глубоких нейронных сетей), способных обобщать знания за пределы заданных эвристик^[1][2].
• Итеративный цикл разработки — Snorkel поддерживает быструю итерацию: пользователь пишет LF, обучает генеративную модель, анализирует ошибки и улучшает правила, повышая качество данных и модели^[5].
• Прослеживаемость и аудит — каждая метка может быть сопоставлена с конкретной LF, что важно для отраслей с повышенными требованиями к прозрачности (медицина, право, финансы)^[5].
• Поддержка разных типов данных — текст, изображения и мультимодальные датасеты могут быть обрабатываемы в единой среде^[6].

Snorkel применяется для автоматизации разметки в самых разных отраслях.

• Здравоохранение
  • автоматическая разметка страховых претензий и ПДФ-документов для ускорения отчётности о нежелательных явлениях^[7];
  • отбор пациентов для клинических испытаний, что позволило сократить время подготовки выборки с месяцев до недель^[8].
• Финансы
  • извлечение ключевых атрибутов компаний из отчётов 10-K, экономя до 10 000 человеко-часов ежегодно^[9];
  • сопоставление счетов и транзакций в цифровом банке Tide без больших наборов вручную размеченных данных^[10];
  • стратегическое соглашение Snorkel AI с BNY Mellon для преобразования неструктурированных данных клиентов^[11].
• Технологические компании
  • Google применил расширение Snorkel DryBell, чтобы заменить более 100 000 вручную размеченных примеров в производственных ML-конвейерах (прим.: автоматизированная последовательность шагов, которая преобразует «сырые» данные в готовую и работающую модель машинного обучения)^[12];
  • Apple, Wayfair, Comcast и Schlumberger используют Snorkel для разметки поисковых, разговорных и технических данных, улучшая точность своих моделей^[13].

• Пользователи отмечают, что создание качественных эвристик требует глубокого понимания предметной области и данных, что может быть не проще ручной разметки.
• Разные функции разметки могут противоречить друг другу, что требует сложной настройки весов и фильтрации шума для получения точного результата.
• Если набор данных невелик, время на развёртывание и настройку Snorkel может превысить время, необходимое для обычной ручной разметки.