Федеративное обучение

Федеративное обучение нацелено на обучение алгоритма машинного обучения, например, глубокой нейронной сети, по нескольким локальным датасетам, расположенным на разных узлах, без явного обмена примерами данных. Общий принцип — обучение локальных моделей на локальных данных с последующим обменом параметрами (например, весами и смещениями нейронной сети) между узлами с определённой периодичностью для генерации глобальной модели, общей для всех участников.

Главное отличие федеративного обучения от распределённого состоит в предположениях о свойствах локальных данных^[2]. В традиционном распределённом обучении целью является параллелизация вычислений, исходя из предположения о независимости и одинаковом распределении данных одинакового размера. Федеративное обучение этих ограничений не накладывает, часто работая с гетерогенными и разномасштабными датасетами. Кроме того, клиенты в федеративном обучении менее надёжны, поскольку зачастую используют менее мощные каналы связи (например, Wi-Fi) и устройства с автономным питанием (смартфоны, IoT-устройства), в отличие от дата-центров в распределённом подходе^[3].

Целевая функция для федеративного обучения задаётся как:

${\displaystyle f(\mathbf {x} _{1},\dots ,\mathbf {x} _{K})={\dfrac {1}{K}}\sum _{i=1}^{K}f_{i}(\mathbf {x} _{i})}$

где ${\displaystyle K}$ — число узлов, ${\displaystyle \mathbf {x} _{i}}$ — веса модели на узле ${\displaystyle i}$, а ${\displaystyle f_{i}}$ — локальная целевая функция на узле ${\displaystyle i}$, отражающая согласование весов модели с локальными данными узла.

Цель федеративного обучения — обучить единую модель на всех локальных данных, то есть:

• Оптимизировать функцию ${\displaystyle f(\mathbf {x} _{1},\dots ,\mathbf {x} _{K})}$;
• Достичь консенсуса по ${\displaystyle \mathbf {x} _{i}}$: в конце обучения ${\displaystyle \mathbf {x} _{1},\dots ,\mathbf {x} _{K}}$ сходятся к некоторому общему ${\displaystyle \mathbf {x} }$.

В централизованной схеме федеративного обучения используется центральный сервер, управляющий алгоритмом и координирующий все узлы. Сервер выбирает узлы для обучения и агрегирует полученные обновления модели. Узлы должны отправлять обновления одной сущности, из-за чего сервер может стать узким местом системы^[3].

В децентрализованной схеме узлы координируются самостоятельно ради получения глобальной модели. Такой подход исключает единую точку отказа, поскольку обновления моделей обмениваются только между связанными узлами без центрального сервера. Однако конкретная топология сети может влиять на эффективность обучения^[3]. Пример — федеративное обучение на основе блокчейна^[4].

С ростом числа клиентов, например, мобильных устройств и объектов IoT, увеличивается гетерогенность^[5]. Обычно предполагается, что локальные модели имеют общую архитектуру. Для поддержки разнородных клиентов была предложена схема HeteroFL^[6], позволяющая обучать разнородные локальные модели с разной вычислительной сложностью и не-IID-данными, сохраняя общий точный глобальный инференс^[6].^[7]

2=Общий процесс федеративного обучения с центральным оркестратором

Итеративный процесс федеративного обучения состоит из серии взаимодействий клиент-сервер, называемых раундами обучения. Каждый раунд включает передачу текущего состояния глобальной модели участникам, локальное обучение на узлах и последующую агрегацию обновлений для применения единого обновления к глобальной модели^[3].

В приведённой методике используется центральный сервер, но возможны и стратегии без него — одноранговая сеть, на основе gossip^[8]. или консенсуса^[9].

Примерная последовательность итеративного процесса:^[10]

1. Инициализация: выбирается и инициализируется модель для обучения (например, линейная регрессия, нейронная сеть, градиентный бустинг); узлы активируются и ожидают задач от сервера.
2. Выбор клиентов: выбирается подмножество узлов для обучения на локальных данных. Выбранные узлы получают модель, остальные ожидают следующего раунда.
3. Конфигурация: сервер инициирует локальное обучение по заданным правилам (например, мини-пакеты градиентного спуска).
4. Отчёт: каждый выбранный узел отправляет локальную модель на сервер для агрегации. Сервер агрегирует обновления и рассылает их обратно. В случае сбоев сервер обрабатывает исключения. Далее процесс повторяется.
5. Завершение: по достижении критерия останова (например, максимальное число итераций или нужная точность) сервер агрегирует результаты и формирует итоговую глобальную модель.

Текущий подход предполагает синхронные обновления моделей. Новые версии поддерживают асинхронность и динамически изменяемые модели^[6]. В асинхронных схемах обновления моделей могут передаваться при готовности отдельных слоёв нейронной сети (т. н. раздельное обучение^[11][12]). Метод применяется и в централизованных, и в децентрализованных схемах^[3][6]

В большинстве случаев предположение о независимости и одинаковом распределении данных между локальными узлами для федеративного обучения не выполняется. Качество обучения зависит от несбалансированности локальных данных и их индивидуальных распределений (признаки и метки). В обзоре Питера Кайруза и соавторов^[3] выделяются типы не-IID-данных:

• Ковариационный сдвиг: на узлах хранятся примеры с разными распределениями признаков (например, в задачах обработки естественного языка написание одних и тех же символов разнится по ширине и наклону).
• Prior probability shift: на узлах разнятся распределения меток (например, наборы изображений животных по странам).
• Дрифт концепций (одинаковые метки, разные признаки): одни и те же метки соответствуют разным признакам (напр., изображения одного объекта при разных погодных условиях).
• Concept shift (одинаковые признаки, разные метки): одни признаки дают разные метки (например, анализ тональности одного текста может отличаться).
• Несбалансированность: размеры наборов данных на узлах существенно различаются.^[6]

Падение точности из-за не-IID-данных можно частично компенсировать продвинутой нормализацией данных (не только пакетная нормализация).^[13].

Способы агрегации локальных результатов и коммуникации могут существенно различаться — от централизованной до полностью децентрализованной схемы. Без централизатора локальные узлы обмениваются результатами только с некоторыми другими, что сокращает число операций и снижает затраты^[14]. Пример — алгоритмы по принципу сплетник^[15].

При заданной топологии сети можно управлять следующими параметрами процесса (помимо гиперпараметров самих моделей):

• Число раундов федеративного обучения: ${\displaystyle T}$
• Общее число узлов: ${\displaystyle K}$
• Доля участвующих узлов на каждом шаге: ${\displaystyle C}$
• Локальный размер пакета: ${\displaystyle B}$

Также можно настраивать:

• Число итераций локального обучения между обменами: ${\displaystyle N}$
• Локальная скорость обучения: ${\displaystyle \eta }$

Выбор параметров зависит от доступных вычислительных, сетевых и энергетических ресурсов. Стохастический выбор части узлов (${\displaystyle C}$) может снизить затраты и уменьшить переобучение.

Федеративное обучение требует частого обмена между устройствами во время обучения, поэтому помимо вычислительных ресурсов, важны и высокоскоростные каналы связи. Хотя пересылка параметров модели обычно требует меньше трафика, чем исходных данных, ограниченные возможности IoT-устройств и смартфонов часто делают стандартные федеративные схемы неприменимыми^[3]

Статистические сложности:

• Гетерогенность локальных наборов данных и различие по объёму;^[6]
• Временная изменчивость локальных распределений;
• Требования интероперабельности данных;
• Требуется периодическая очистка данных;
• Скрытие данных внутри обучения позволяет злоумышленникам внедрять бэкдоры;^[16].
• Отсутствие доступа к глобальным данным затрудняет контроль за предвзятостью;
• Потеря обновлений из-за сбоев узлов^[3]
• Недостаток разметки на клиентской стороне;^[17];
• Гетерогенность вычислительных платформ^[18].

Разработаны различные алгоритмы федеративной оптимизации.

Стохастический градиентный спуск — один из базовых подходов для обучения глубоких моделей, где градиенты вычисляются по случайной части датасета, а затем делается шаг по градиенту.

В федеративном варианте^[19] случайный подмножество узлов вычисляет градиенты на всех своих локальных данных. Сервер усредняет градиенты пропорционально объёму данных на каждом узле и выполняет шаг градиентного спуска.

Федеративное усреднение (FedAvg) — обобщение FedSGD, где узлы проводят несколько обновлений на своих данных и обмениваются обновлёнными весами, а не градиентами. Это снижает количество обменов и по качеству сопоставимо с FedSGD^[20]. Существуют модификации FedAvg на основе адаптивных оптимизаторов (Adam и AdaGrad), превосходящие оригинальный FedAvg^[21].

Обычные методы плохо себя ведут в условиях гетерогенности распределения данных между клиентами. В 2021 году Эйсар и соавторы^[22] предложили FedDyn — динамическую регуляризацию функционала локальных потерь, что приводит к согласованию локальных и глобальных целей и обеспечивает сходимость при любой гетерогенности. Модификация FedDynOneGD^[22] рассчитана на одну итерацию градиента на клиента за раунд и сохраняет сходимость при сниженных локальных расходах.

В не-IID-условиях стандартные алгоритмы строят слабые глобальные модели. Sub-FedAvg^[23] использует структурированное и неструктурированное прореживание и усреднение по пересечению подмоделей — для повышения точности персонализированных моделей и экономии ресурсов.

IDA (метод обратных взвешенных расстояний) — адаптивный взвешенный алгоритм, минимизирующий влияние выбросов и ускоряющий сходимость модели на несбалансированных и не-IID-данных^[24].

HyFDCA — алгоритм 2024 года для гибридного федеративного обучения, когда клиенты имеют только часть признаков и примеров^[25]. Он расширяет CoCoA^[26] для произвольных разбиений клиентов по объёмам и признакам, гарантируя сходимость и адаптацию приватности, опережая аналогичные подходы как по точности, так и по простоте настройки^[25].

Термин федеративного обучения оформился в 2015^[2] и 2016 годах^[27], с первыми публикациями по FedAvg для телекоммуникаций. Однако идеи агрегирования предсказаний моделей на разных этапах цикла встречались раньше^[28]. Ключевое направление исследований — снижение коммуникационных затрат (разработка сплетник-алгоритмов^[29], анализ дифференциальной приватности^[30]), сокращение трафика через разреженность или квантование моделей^[31], энергоэффективность DNN для обучения на периферии^[32][33].

Продвинутые исследования учитывают реальные (неидеальные) каналы передачи^[34] и гетерогенные модели^[6] Развивается схема assisted learning — совместное обучение агентов без передачи приватных данных, моделей и даже задач.^[35]

Федеративное обучение актуально, когда участники стремятся обучать модели на больших данных, не передавая их друг другу (например, по юридическим или коммерческим причинам). Для работы необходимы качественные каналы связи и вычислительные мощности на местах^[3].

Беспилотный автомобиль использует компьютерное зрение и машинное обучение для адаптации к среде. Из-за большого числа устройств и требований к безопасности облачный подход неэффективен. Федеративное обучение позволяет ускорить обучение и снизить нагрузку на каналы передачи данных.^[36][37]

В Индустрии 4.0 для повышения эффективности процессов используется машинное обучение^[38], при этом защита корпоративных данных критична. Федеративное обучение позволяет строить модели без раскрытия коммерческой тайны^[27]. ФЛ используется, например, для прогнозирования загрязнённости в проектах «умных городов»^[39].

Федеративное обучение используется для защиты данных пациентов при совместном обучении моделей без выгрузки исходных данных; централизованный подход связан с риском утечки информации. Консорциум из 20 институтов доказал применимость федеративного подхода для прогнозирования у пациентов с COVID-19^[40]. В статье Nature Digital Medicine описан потенциал федеративного обучения для медицины^[41]. Платформа MedPerf позволяет валидировать медицинские ИИ-модели на реальных данных по федеративному принципу.

В робототехнике федеративное обучение используется от задач восприятия до управления. Разработка гибких и устойчивых к сбоям моделей для навигации роботов в различных условиях поддерживает обобщаемость^[42][43][44].

Федеративное обучение позволяет строить совместные модели биометрической идентификации, не раскрывая исходные шаблоны биометрии, изолируя приватные данные (отпечатки, лица, радужки глаза). Сложности: разнородность моделей, вычислительные ограничения, угроза атак. Перспективы — персонализированное федеративное обучение, приложения для предотвращения атак, расширение на оценку качества биометрии^[45].