Anthropic предоставила METR доступ к внутренним системам для независимой оценки ИИ-моделей

Anthropic сообщила о новом формате сотрудничества с METR: шесть специалистов организации получили доступ к внутренним инструментам компании, а результаты оценки рисков должны публиковаться без предварительного одобрения Anthropic.

Anthropic объявила о новом формате независимой оценки своих ИИ-моделей. Шесть сотрудников некоммерческой организации METR получили рабочие устройства, места в офисе Anthropic и доступ к внутренним инструментам, сопоставимый с возможностями собственной команды компании, отвечающей за оценку рисков.

METR сможет публиковать анализ уровней риска, инцидентов и практик Anthropic без предварительного согласования. Компания оставляет за собой право потребовать удаление узких категорий сведений, например данных клиентов, материалов, защищённых адвокатской тайной, и информации об архитектуре моделей. METR сможет публично оценивать обоснованность таких ограничений.

Как устроен доступ для независимых оценщиков

Anthropic описала трёхуровневую модель сотрудничества. Она должна постепенно расширять доступ внешних специалистов к данным о подготовке моделей, защитных механизмах и внутренних процедурах.

Уровень	Доступ и публикация
Первый	Ограниченное исследование рисков, публикация с разрешения Anthropic
Второй	Более широкий доступ и публикация без предварительного одобрения, с возможностью ограничить отдельные сведения
Третий	Доступ, близкий к возможностям внутренних команд, и самостоятельная публикация выводов

METR работает в рамках отдельной команды и соглашений о защите информации. Остальные сотрудники организации изолированы от этого проекта, включая специалистов, которые участвуют в других совместных исследованиях с Anthropic.

Другие участники оценки

Anthropic также сообщила о сотрудничестве с SecureBio и Accenture. SecureBio проверяет раздел о химических и биологических рисках в одном из отчётов компании. Ранее организация уже завершила пилотную проверку предыдущего отчёта. С Accenture и Faculty компания планирует оценивать модели, тестировать защитные механизмы и проводить исследования согласованности поведения ИИ с заданными правилами.

Для студентов и исследователей эта схема важна как пример различия между заявлением разработчика и внешней оценкой. При подготовке курсовой или аналитического обзора стоит отдельно фиксировать, кто проводил проверку, какой доступ получил оценщик, какие ограничения действовали и имел ли он право публиковать выводы самостоятельно. Сам факт сотрудничества ещё не подтверждает безопасность модели, поэтому в академическом тексте нужно отделять описанный процесс оценки от окончательных результатов.