Монокультура (информатика)

С развитием тенденции к увеличению использования и зависимости от компьютерных систем, некоторые поставщики предлагают решения, которые применяются во всей отрасли (например, Microsoft Windows) — это образует алгоритмические монокультуры. Монокультуры формируются естественно благодаря экономии на масштабе, когда производство и распространение единого решения обходится дешевле — обычно эти сбережения переходят конечным пользователям. Кроме того, наличие большой пользовательской базы способствует более быстрому обнаружению и исправлению ошибок.

Как и в случае с сельскохозяйственными монокультурами, алгоритмические монокультуры не являются разнообразными, и поэтому подвержены связанным сбоям — когда отказывает множество компонентов, участвующих в монокультуре. В случае полной неоднородности (не-моно) — когда результаты работы всех компонентов взаимно независимы — вероятность катастрофического события (сбой всех компонентов) равна произведению вероятностей отказа каждой части (то есть экспоненциально уменьшается).

В противоположность этому, совершенные монокультуры полностью коррелированы, и потому обладают единой точкой отказа. Это означает, что вероятность катастрофического события обычно выше, поскольку сбой одного компонента может вызвать массовые последствия.

Поскольку операционные системы используются практически на каждом рабочем месте, они образуют монокультуры. Например, Дэн Гир утверждал, что Microsoft — это монокультура, поскольку большинство рабочих станций, подключённых к Интернету, работают под управлением операционных систем семейства Microsoft Windows, многие из которых уязвимы одним и тем же атакам.

Крупные монокультуры могут возникать и за счёт программных библиотек, например, эксплойт Log4Shell в популярной библиотеке Log4j по оценкам затронул сотни миллионов устройств^[2].

Концепция монокультуры имеет особое значение при обсуждении компьютерной безопасности и вирусов. Главная угроза — это уязвимость к атакам. Поскольку монокультуры не обладают разнообразием, любая выявленная уязвимость существует у всех её участников, что повышает риск эксплуатации^[3]. Примером здесь служит явление exploit Wednesday, когда после выпуска обновлений безопасности для Windows наблюдается рост числа атак на системы, которые не были своевременно обновлены.

Клиффорд Стоул писал в 1989 году после расследования проникновения червя Морриса:^[4]

Другой важной проблемой является усиление распространения алгоритмической предвзятости. В условиях растущего применения машинного обучения увеличивается озабоченность смещениями, вносимыми алгоритмами. Природа монокультур усугубляет этот эффект, делая предвзятость системной и способствуя распространению несправедливых решений.

Монокультуры могут приводить к парадоксам типа парадокса Бресса, когда введение «лучшей опции» (например, более точного алгоритма) приводит к субоптимальному монокультурному сходу — состоянию, когда коррелированность системы ухудшает общий уровень принимаемых решений. Поскольку монокультуры формируются в областях, связанных с критически важными решениями, такими как кредитный скоринг или автоматизированный приём на работу, важно стремиться к оптимально обоснованным решениям.

Такие сценарии изучаются с позиций дизайна механизмов, где агенты выбирают между набором алгоритмов, некоторые из которых дают взаимосвязанные результаты. Совокупный эффект такого выбора измеряется через социальное благосостояние.

Этот раздел иллюстрирует проблему субоптимального монокультурного схода на примере автоматизированного найма. Найм представляет собой ранжирование группы кандидатов и выбор наиболее предпочтительных. В последние годы автоматизированный найм (автоматическое ранжирование кандидатов на основе взаимодействия с ИИ-системой) получил широкое распространение.

Как показал Джон Клейнберг^[5], при определённых допущениях легко возникает субоптимальная монокультура автоматизированного найма: выбор скоррелированного алгоритма становится доминирующей стратегией, что приводит к формированию монокультуры со сниженным общественным благом.

Рассматривается две фирмы и множество ${\displaystyle S}$ из ${\displaystyle n}$ кандидатов с неизвестной полезностью ${\displaystyle x_{i}}$. В процессе найма каждая фирма строит неточное ранжирование, а затем (по случайному порядку) нанимает первого доступного кандидата из своего списка. Фирма может использовать либо независимые оценки человека, либо общий алгоритмический рейтинг.

Ранжирующий алгоритм ${\displaystyle {\mathcal {F}}_{\theta }}$ моделируется как вероятностное распределение на перестановках ${\displaystyle S}$, определяемое параметром точности ${\displaystyle \theta >0}$.

Чтобы ${\displaystyle {\mathcal {F}}_{\theta }}$ был осмыслен, он должен удовлетворять:

1. Дифференцируемость: Вероятность любой перестановки ${\displaystyle \pi }$ является непрерывной и дифференцируемой функцией параметра ${\displaystyle \theta }$.
2. Асимптотическая оптимальность: Для истинной перестановки ${\displaystyle \pi ^{*}}$: ${\displaystyle \lim _{\theta \to \infty }Pr[\pi ^{*}]=1}$.
3. Монотонность: Ожидаемая полезность самого высокого кандидата возрастает по мере увеличения ${\displaystyle \theta }$, даже при удалении любого подмножества из ${\displaystyle S}$.

Эти условия означают, что фирма всегда предпочтёт более высокие значения ${\displaystyle \theta }$, даже если она второй выбирает кандидата.

И алгоритмические, и человеческие методы построения рейтинга описываются через ${\displaystyle {\mathcal {F}}_{\theta }}$ и различаются только параметрами точности ${\displaystyle \theta _{A},\theta _{H}}$. Алгоритмическое ранжирование всегда даёт одну и ту же перестановку, в то время как человеческое — определяется независимо для каждой фирмы.