5 октября 2026 г.

GitHub представил ReviewBench для сравнения ИИ-агентов по проверке кода

GitHub открыл ReviewBench, бенчмарк для оценки ИИ-агентов по проверке кода на 219 pull request из 19 языков программирования.

GitHub представил ReviewBench, открытый бенчмарк для сравнения ИИ-агентов, которые анализируют изменения в коде и формируют замечания к pull request. Проект рассчитан на разработчиков и команды, которым нужно оценивать такие системы по единой методике, а не по отдельным демонстрациям.

В набор вошли 219 pull request

ReviewBench включает 219 публичных pull request из 187 репозиториев с открытой лицензией. Набор охватывает 19 языков программирования. При его формировании GitHub изучил распределение 103,9 млн pull request, чтобы приблизить состав тестов к реальным задачам разработки.

Размеры изменений распределены с поправкой в пользу более содержательных запросов. В наборе оставили меньше небольших изменений в одном файле и больше многофайловых задач, где автоматическая проверка требует полноценного анализа.

Эталонные ответы проверили инженеры

Для формирования эталонного набора GitHub использовал несколько источников находок. Каждую проблему отнесли к категории и уровню серьёзности. Затем старшие инженеры, которые не участвовали в создании набора, повторно оценили все эталонные находки.

Результаты независимой проверки совпали с исходной разметкой в 96,6% случаев. GitHub также зафиксировал версии датасета, правил оценки и механизма сопоставления. Это позволяет повторять измерения на одинаковой конфигурации и сравнивать изменения результатов после обновления системы.

Метрики учитывают разные задачи ревью

ReviewBench использует шесть метрик в двух группах. Они оценивают полноту поиска известных проблем, точность замечаний и способность агента находить дополнительные дефекты, которых не было в исходном эталонном наборе.

Результаты можно разделять по категориям и серьёзности проблем. Коэффициент β в Fβ-оценке позволяет изменить баланс между полнотой и точностью: один сценарий требует находить больше потенциальных ошибок, другой снижает число лишних замечаний.

Исследовательская версия ReviewBench доступна для самостоятельной оценки собственных агентов. При этом результаты на открытом наборе не доказывают качество инструмента в конкретном проекте. Перед использованием в учебной или рабочей разработке стоит отдельно проверить поведение системы на нужном языке, стеке и типах изменений.

Читайте также

MIT представил систему, которая исправляет ошибки робота в памятиНовости

MIT представил систему, которая исправляет ошибки робота в памяти

UQ-DAAAM помогает роботу находить ненадёжные описания объектов, выбирать дополнительные ракурсы и обновлять память без полного повторного анализа окружающей среды.

2 мин.Читать новость
Учёные Сеченовского Университета нашли способ переключать макрофаги в режим восстановления тканейНовости

Учёные Сеченовского Университета нашли способ переключать макрофаги в режим восстановления тканей

Исследователи Сеченовского Университета изучили, как вещества мезенхимных стромальных клеток влияют на воспаление и восстановление тканей. Наиболее выраженный эффект показала среда после 72 часов культивирования трёхмерных клеточных сфероидов.

2 мин.Читать новость
Россия: ФИПИ представил проекты КИМ ОГЭ 2027 годаНовости

Россия: ФИПИ представил проекты КИМ ОГЭ 2027 года

ФИПИ разместил проекты кодификаторов, спецификаций и демонстрационных вариантов ОГЭ 2027 года по 14 предметам. Предложения принимают до 30 сентября 2026 года.

2 мин.Читать новость
Если не защитил диплом: сроки пересдачи и порядок действийПолезные материалы

Если не защитил диплом: сроки пересдачи и порядок действий

Разбираем, когда назначают повторную защиту диплома в российском вузе, чем она отличается от переноса из-за неявки и какие документы нужно запросить.

20 мин.Читать статью
Автор студенческих работ: вакансии и работа с научными публикациямиПолезные материалы

Автор студенческих работ: вакансии и работа с научными публикациями

Запрос «автор студенческих работ вакансии» может привести к задачам по научным статьям. Разбираем обязанности редактора, требования журналов, оплату, подачу рукописи и работу с замечаниями.

21 мин.Читать статью
Нормоконтроль диплома купить: как заказать проверку оформления ВКРПолезные материалы

Нормоконтроль диплома купить: как заказать проверку оформления ВКР

Разбираем состав нормоконтроля ВКР, требования к исходным файлам, правила технического задания, критерии выбора исполнителя и порядок приемки исправленного документа.

21 мин.Читать статью