На ICML 2023 была представлена работа Adversarial Policies Beat Superhuman Go AIs. Исследователи обучили специальные стратегии против KataGo и сообщили о доле побед выше 97 процентов при проверенных настройках, которые обеспечивали программе сверхчеловеческую силу.
Принцип отличался от создания ещё более сильного универсального игрока. Противник искал повторяющуюся уязвимость и провоцировал серьёзную ошибку программы. Авторы подчёркивали, что такая стратегия не означает хорошую игру в обычных условиях.
По их результатам, часть атак переносилась на другие сильные системы без дополнительного обучения. Некоторые приёмы оказались достаточно понятны, чтобы специалисты могли применять их вручную. Основная уязвимость сохранялась и после специально направленного защитного обучения в рассмотренных опытах.
Для истории компьютерного го это изменило смысл оценки качества: впечатляющий рейтинг ещё не гарантировал устойчивость против целенаправленного соперника. Вывод относится к исследованным моделям и условиям 2023 года; он не доказывает уязвимость каждой будущей версии или обычное превосходство человека над программами.
Основание материала
Источники и проверка
- Исследование
Wang и соавторы: Adversarial Policies Beat Superhuman Go AIs, ICML 2023
Официальная публикационная страница PMLR 202: abstract и библиографические данные; условия и ограничения заявлений авторов.
Проверен:
Раскрытие связи
Материал входит в общий проект сайтов о го.
История продолжается.
Другие события в хронике →