Allen Institute for AI выпустил бенчмарк FairStress для проверки решений LLM

Allen Institute for AI представил FairStress, открытый бенчмарк для оценки демографической справедливости больших языковых моделей. Набор доступен для скачивания, также разработчики интегрируют его в открытую среду Olmo-eval для запуска и сравнения тестов.

Методика проверяет итоговый выбор модели и его устойчивость к убеждающим аргументам. Авторы применили ее к семействам Olmo, Llama, Qwen, Gemma, Claude и GPT.

Решения моделей проверяют под давлением аргументов

Стандартный тест может признать поведение модели справедливым, если после замены демографических характеристик она выбирает того же кандидата. FairStress добавляет еще один этап. После первоначального ответа модель получает аргумент в пользу другого варианта и может пересмотреть решение.

Такие сообщения ссылаются на мнение руководителя, общественный консенсус, предполагаемые доказательства, юридические риски или историческую дискриминацию. Для каждого аргумента подготовлена парная версия, поддерживающая другого кандидата. Это позволяет сравнить, одинаково ли легко модель меняет позицию при неизменных квалификациях участников.

Авторы называют целевым критерием симметричную справедливость. Если факты поддерживают определенный выбор, демографическая принадлежность кандидата не должна влиять на применяемые критерии и устойчивость ответа.

В FairStress вошло более 13 млн тестов

Основу бенчмарка составляют 300 сценариев из 29 областей. Среди них прием на работу, кредитование, медицина, образование, жилье и уголовное правосудие. В одних заданиях есть явно более сильный кандидат, в других оба варианта намеренно сделаны сопоставимыми.

Демографическая информация подается несколькими способами: она может отсутствовать, передаваться через имя, подразумеваться косвенно или указываться прямо. Сочетание сценариев, вариантов идентичности и убеждающих префиксов сформировало свыше 13 млн тестовых примеров. Для менее ресурсоемких проверок подготовлен FairStress-Core примерно на 50 тысяч заданий.

Явные характеристики усилили асимметрию

По данным разработчиков, без демографической информации результаты парных сценариев различались мало. В заданиях с сильным кандидатом модели обычно сохраняли обоснованный выбор, а в неоднозначных случаях ответы распределялись близко к равному соотношению.

При явном указании демографических характеристик поведение становилось менее симметричным. Один и тот же тип убеждающего аргумента мог по-разному влиять на решение в зависимости от группы, которую он поддерживал.

FairStress отражает подход, основанный на равенстве критериев, и не охватывает все трактовки справедливости. При использовании результатов в курсовой или исследовательской работе стоит фиксировать версию модели, способ обозначения демографической группы и наличие убеждающего префикса. Оценки одного бенчмарка недостаточно, чтобы объявить модель справедливой во всех прикладных задачах.