Программа от ЛЭТИ автоматически выявляет уязвимости в нейросетях автопилотов

Российские исследователи из ЛЭТИ разработали алгоритм, который способен самостоятельно находить слабые места в нейросетях, используемых в беспилотных автомобилях, без необходимости длительной ручной работы экспертов. Этот инструмент помогает разработчикам идентифицировать и исправлять уязвимости до того, как система поступит на рынок.

Основная задача программы — находить способы, чтобы обмануть модели компьютерного зрения, что позволяет разработчикам устранять потенциальные угрозы безопасности. Беспилотные машины используют нейросети для распознавания объектов и оценки ситуации на дороге, однако злоумышленники могут использовать малозаметные фильтры, чтобы ввести систему в заблуждение, например, заставить её принять дорожный знак за нечто иное.

Традиционно тестирование устойчивости нейросетей к таким атакам проводилось вручную, что занимало много времени и зависело от опыта специалистов. Команда ЛЭТИ собрала в единую базу существующие инструменты для поиска уязвимостей и создала комплекс из шести модулей, включая функции потерь и градиенты моделей, для оптимизации данного процесса.

Новый программный комплекс автоматически подбирает лучшие методы и параметры, используя байесовскую оптимизацию и специально разработанный эволюционный алгоритм. Проверка на собственной нейросети ученых показала, что новая конфигурация выявляет уязвимости в 58% случаев по сравнению с 13% у традиционного метода, при этом искажения стали на 15% менее заметными. Разработку планируют использовать для аудита безопасности, что позволит заранее устранить серьезные уязвимости.