18 сентября 2026 г.
Российские ученые НИУ ВШЭ предложили новый метод проверки нейросетей для анализа видео
Исследователи НИУ ВШЭ проверили, как сжатие, потеря данных и другие обычные сетевые искажения влияют на оценки нейросетевых моделей.
Ученые НИУ ВШЭ представили на конференции ChinaMM 2026 в Тайюане исследование устойчивости нейросетей, анализирующих видео. Вместо искусственно созданных помех авторы использовали сжатие, потерю пакетов и другие искажения, которые возникают при обычной передаче данных по сети.
Работу подготовили Александр Ивченко, Алексей Солдатов, Виктор Минченков, Владимир Башун и Антон Сергеев. Исследование получило название Non-Secure VQA: Exploiting Codec Artifacts and Natural Distortions.
Модели проверили в условиях реальной передачи видео
Эксперимент проводили на моделях оценки качества видео. Такие системы сопоставляют изображение с человеческим восприятием и применяются, в частности, видеосервисами для автоматического контроля качества.
Исследователи учитывали разрешение, частоту кадров, битрейт, яркость, контрастность, резкость, цвет и особенности движения. Из более чем 40 тысяч роликов четырех наборов данных они отобрали 270 видео с разными характеристиками сцен.
Для дальнейших испытаний команда создала набор данных NetEmVQA V1. Ученые меняли скорость передачи и моделировали потерю пакетов, после чего сравнивали визуальные изменения с ответами нейросети.
Малозаметные артефакты сильнее повлияли на оценку UVQ
В одном из экспериментов модель UVQ, применяемая в YouTube, сильнее отреагировала на почти незаметные артефакты передачи, чем на очевидное ухудшение изображения.
| Вариант кадра | Оценка UVQ из 5 |
|---|---|
| Исходный кадр | 4,007 |
| Кадр с заметными искажениями | 3,431 |
| Кадр с малозаметными сетевыми артефактами | 3,380 |
Статичные сцены без мелких деталей оказались менее чувствительными. Динамичные и визуально сложные фрагменты заметнее меняли результат модели. Разработанный подход разделял чувствительные и менее чувствительные данные с F1-мерой выше 95%.
Метод можно изучать в работах по компьютерному зрению
Студенты, готовящие курсовые и дипломные работы по машинному обучению, могут рассматривать исследование как пример построения выборки и проверки устойчивости модели. При разборе эксперимента стоит отдельно зафиксировать характеристики исходных видео, параметры сетевых искажений, выбранную метрику и различие между визуальной оценкой человека и ответом алгоритма.
Авторы также допускают применение метода при тестировании систем трекинга объектов и обнаружения дипфейков. Эти направления пока обозначены как потенциальные области использования, а не как подтвержденные результаты отдельного эксперимента.