Неопределённое выводение

Ван Рейсберген предложил определять меру неопределённости между документом d и запросом q как вероятность их логической импликации:

${\displaystyle P(d\to q)}$

Пользовательский запрос интерпретируется как совокупность утверждений о требуемом документе. Система должна, получив конкретный документ, выяснить, выполняются ли эти утверждения. Если выполняются — документ подлежит выдаче. Однако зачастую содержимое документов недостаточно для однозначного вывода истинности утверждений запроса. Для этого привлекается база знаний с фактами и правилами, но и они могут быть неопределёнными, поскольку некоторые факты используются с определённой вероятностью. В связи с этим этот подход называют также правдоподобным выводом. Правдоподобие вывода ${\displaystyle d\to q}$ определяется функцией правдоподобия для каждого отдельного утверждения запроса. Вместо того чтобы извлекать только документы, полностью совпадающие с запросом, предлагается ранжировать их по степени правдоподобия относительно запроса. Поскольку как документы, так и запросы генерируются пользователями, они подвержены ошибкам, поэтому ${\displaystyle d\to q}$ является неопределённым. Это влияет на правдоподобие формулировки запроса.

Подобный подход позволяет добиться двух целей:

• Разделить процессы пересмотра вероятностей и логического вывода
• Разделить обработку релевантности от обработки пользовательских запросов

Мультимедийные документы (изображения, видео) имеют разные свойства для вывода по сравнению с текстовыми документами. Модели правдоподобного вывода позволяют объединять вероятности, характеризующие различные свойства разных типов данных.

Неопределённый вывод обобщает понятия автоэпистемической логики, где значения истинности утверждений могут быть известны или неизвестны, а если известны — принимать значения «истина» или «ложь».

В современных нейросетевых моделях отношение ${\displaystyle P(d\to q)}$ моделируется через байесовские функции скоринга и байесовские нейронные сети (например, с использованием Monte Carlo Dropout). Для оценки соответствия предсказанных вероятностей реальной точности применяются методы калибровки уверенности, такие как ECE (Expected Calibration Error) и ERCE (Expected Ranking Calibration Error).

Если запрос имеет форму:

${\displaystyle q=A\wedge B\wedge C}$

где A, B и C — отдельные утверждения запроса, то для некоторого документа D интерес представляет вероятность:

${\displaystyle P(D\to (A\wedge B\wedge C))}$

Преобразовав это выражение к условной вероятности ${\displaystyle P((A\wedge B\wedge C)|D)}$ и принимая независимость утверждений запроса, общую вероятность импликации можно найти как произведение вероятностей для отдельных утверждений.

В контексте больших языковых моделей (LLM) высокая вероятность импликации ${\displaystyle P(D\to q)}$ может сочетаться с фактической недостоверностью документа D. Поскольку архитектура LLM устроена как система предсказания следующего токена, модель не проверяет истинность фактов. Это приводит к уверенным галлюцинациям: нейросеть с высокой уверенностью генерирует вывод q из недостоверного текста, так как для неё убедительно написанное предложение с вымышленным фактом равноценно истинному^[1].

У. Б. Крофт и Р. Кровец^[2] применили неопределённый вывод в системе информационного поиска офисных документов, получившей название OFFICER. Для таких документов предположение о независимости атрибутов запроса справедливо, поскольку обычно запрос касается отдельных характеристик. Помимо анализа содержимого документов, возможно выполнение запросов по автору, размеру, теме или коллекции. Учёные разработали методы сопоставления свойств документа и запроса, вычисления их правдоподобия и объединения в итоговую оценку для каждого документа. Специфическим вопросом было также учёт неопределённости содержания как документов, так и запросов.

Сети вероятностной логики реализуют неопределённый вывод, при этом значения истинности выражаются не только вероятностью, но и уровнем доверия, показывающим степень определённости оценки.

Сети Маркова с логикой позволяют выполнять неопределённый вывод с использованием принципа максимальной энтропии, аналогично тому, как марковские цепи описывают неопределённость конечных автоматов.

В современных исследованиях принцип максимальной энтропии применяется для оценки эпистемической неопределённости и предотвращения избыточной уверенности глубоких нейросетей на неизвестных данных. К таким методам относятся Maximum Weight Entropy (MaxWEnt), который выбирает распределение весов с максимальной энтропией для максимизации разнообразия гипотез при сохранении приемлемого эмпирического риска, и MaxWEnt-SVD, учитывающий корреляции между нейронами через сингулярное разложение для более эффективного увеличения энтропии весов и улучшения калибровки неопределённости^[3]..