23 декабря 2020 года DeepMind представила публикацию MuZero в Nature. Го вошло в набор испытаний вместе с шахматами, сёги и Atari. Предварительная исследовательская версия была представлена ещё в 2019 году; эти две даты разработчик различает.
Новая задача состояла в планировании без заранее заданной точной модели динамики игры. MuZero обучалась предсказывать три величины, нужные для выбора действий: вознаграждение, ценность позиции и политику дальнейшего выбора. Поиск использовал такую внутреннюю модель вместо готового симулятора всех переходов.
По результатам разработчиков, в го система достигла уровня AlphaZero, которой правила были предоставлены. Это расширяло исследовательское использование игры: проверялось уже не только качество поиска при известных правилах, но и возможность совместно обучать модель среды и планировать по ней.
Выражение «без правил» требует оговорки. Агент получал наблюдения и обратную связь от работающей среды, а не существовал без определённой игры. Прочитано объяснение разработчиков; статья Nature не объявляется полностью изученной. Результат не равен математическому решению го или доказательству применимости метода к любой неизвестной реальной ситуации.
Основание материала
Источники и проверка
- Официальный источник
Google DeepMind: MuZero: Mastering Go, chess, shogi and Atari without rules
Прочитан открытый текст источника.
Проверен:
Раскрытие связи
Материал входит в общий проект сайтов о го.
История продолжается.
Другие события в хронике →