Анализ данных для выявления мошенничества

Примеры статистических методов анализа данных:

• Использование методов предварительной обработки данных для выявления, проверки, исправления ошибок и заполнения пропущенных или некорректных данных.
• Расчёт различных статистических параметров, таких как средние значения, квартили, показатели эффективности, вероятностные распределения и др. Например, могут вычисляться средняя продолжительность звонка, среднее количество звонков за месяц, средние задержки по оплате счетов.
• Формирование моделей и вероятностных распределений для различных бизнес-процессов по множеству показателей.
• Построение профилей пользователей.
• Анализ временных рядов данных, зависящих от времени.
• Кластеризация и статистическая классификация для поиска закономерностей и связей между группами данных.
• Сопоставление данных — сравнение двух наборов собранных данных с помощью алгоритмов или программных инструкций с целью удаления дубликатов и выявления связей между записями для нужд маркетинга, безопасности и прочего.
• Функция «похожести по звучанию» используется для поиска совпадающих по звучанию значений, что позволяет выявлять возможные дубликаты и разные написания вручную введённых данных. Эта функция преобразует сравниваемые строки в четырёхсимвольные коды по системе American Soundex, основанные на первой букве и следующих трёх согласных.
• Регрессионный анализ позволяет изучать взаимосвязи между двумя и более переменными, строить зависимости между независимыми и зависимыми переменными и делать прогнозы.
• Анализ разрывов применяется для определения, выполняются ли бизнес-требования, и если нет — какие действия необходимы для их достижения.
• Алгоритмы сопоставления шаблонов используются для обнаружения аномалий в поведении транзакций или пользователей по сравнению с известными моделями и профилями, а также для уменьшения количества ложных срабатываний, оценки рисков и прогнозирования будущих событий.

Некоторые судебные аудиторы специализируются на судебной аналитике, то есть сборе и анализе электронных данных с целью воссоздания, выявления или аргументации наличия финансового мошенничества. Основные этапы судебной аналитики включают сбор данных, подготовку данных, анализ и отчётность. Например, судебная аналитика может применяться для проверки операций по корпоративной платёжной карте с целью выявления личного использования средств.

Ключевые методы искусственного интеллекта, применяемые для обнаружения мошенничества, включают:

• Интеллектуальный анализ данных для классификации, кластеризации и сегментирования информации, выявления ассоциаций и правил, указывающих на интересные (в том числе мошеннические) закономерности.
• Экспертные системы, реализующие правила выявления мошенничества на основе экспертных знаний.
• Распознавание образов для автоматического или полуавтоматического обнаружения классов и шаблонов подозрительного поведения.
• Машинное обучение для автоматического выявления характеристик мошеннических действий.
• Искусственные нейронные сети для независимого построения моделей классификации, кластеризации, обобщения и прогнозирования, сравниваемых с результатами внутренних аудитов и официальных финансовых отчётов, таких как 10-Q.

Применяются также другие методы, например, анализ связей, байесовские сети, теория принятия решений и сопоставление последовательностей. Актуален и новый подход, называемый «метод системных свойств», применяемый при наличии ранговых данных^[2].

Статистический анализ исследовательских данных является наиболее комплексным методом определения наличия фактов подделки данных. Согласно определению Управления по целостности исследований, мошенничество с данными включает фабрикацию, фальсификацию и плагиат.

Ранние методы анализа данных были ориентированы на извлечение количественных и статистических характеристик. Это способствовало лучшему пониманию процессов, лежащих в основе данных. Однако традиционные методы в основном опирались на квалификацию аналитика и интерпретацию результатов.

Для получения более продвинутых выводов система анализа данных должна обладать значительным объёмом фоновых знаний и возможностью делать выводы на основе этих знаний и поступающих данных. Для этого исследователи обратились к концепциям машинного обучения, где задача формулируется как превращение исходных знаний и примеров во вновь полученные знания.

Когда при интеллектуальном анализе данных удаётся выявить значимые закономерности, данные превращаются в информацию. Если эта информация одновременно нова, обоснована и полезна, её можно рассматривать как знание. Таким образом, говорят об открытии знаний в больших объёмах информации.

Решения на основе машинного обучения и искусственного интеллекта подразделяются на два класса: обучение с учителем и без учителя. Оба метода направлены на выявление необычного поведения аккаунтов, клиентов, поставщиков и прочих объектов с целью формирования индикаторов подозрительных действий, правил или визуальных аномалий.

Результаты таких методов дают лишь вероятность мошенничества. Ни один отдельный статистический анализ не может гарантировать, что определённый объект связан с мошенничеством, однако позволяет с высокой точностью выявлять подозрительные случаи. Поэтому эффективное сотрудничество между моделями машинного обучения и аналитиками-людьми играет ключевую роль в успешных системах обнаружения мошенничества.

Обучение с учителем

В методах обучения с учителем случайная подвыборка записей вручную маркируется как мошенническая или добросовестная (при необходимости количество мошеннических примеров увеличивается за счёт предварительной выборки). Эти помеченные данные используются для обучения соответствующих алгоритмов. После построения модели она способна классифицировать новые записи на мошеннические и немошеннические.

Широко применялись такие методы, как супервизируемые нейронные сети, нечёткие нейронные сети и их комбинации с экспертными правилами для выявления мошенничества в сетях мобильной связи и финансовых отчётах.

Байесовские нейронные сети реализованы для выявления мошенничества с кредитными картами, в телекоммуникациях, автостраховании и медицинских страховых выплатах^[3].

Гибридные системы на основе экспертных и статистических знаний используют серию методов интеллектуального анализа с целью обнаружения мошенничества по подмене абонентов в мобильных сетях. Например, используются алгоритмы обучения правилам для выделения индикаторов мошенничества из больших баз данных клиентских транзакций.

Кахилл и соавторы (2000) разработали метод «подписи мошенничества» для обнаружения подозрительных телефонных звонков, сравнивая вероятность события по индивидуальной и мошеннической подписи, обновляемых по мере поступления информации.

Другой подход — анализ связей, когда известные мошенники соотносятся с другими субъектами с помощью методов связывания записей и социального сетевого анализа.

Однако данный путь позволяет выявлять только те случаи мошенничества, которые уже встречались ранее и были классифицированы человеком. Для обнаружения новых схем требуется применение методов обучения без учителя.

Серьёзным препятствием для валидации методов обнаружения мошенничества является ограниченное количество общедоступных наборов данных^[5]. Одним из немногих исключений является датасет по выявлению мошенничества с кредитными картами^[6], выложенный группой по машинному обучению ULB.

В России данные для fraud detection, как правило, закрыты и доступны в виде агрегированных отчётов, что усложняет независимую валидацию методов, но это общая проблема многих стран.