MTGBench Яндекса: семь игр вместо рейтинга, пока модель ещё не в агенте

Модель, которая сверху в общем рейтинге, на третьем уточнении начинает спорить сама с собой. Вчера она запомнила ограничение, сегодня пишет так, будто его не было. Для разработки ИИ-агентов это больнее, чем слабый балл: агент живёт в диалоге, а не в одном ответе. 27 октября 2026 Яндекс и Школа анализа данных выложили открытый MTGBench. Это не ещё одна таблица "кто умнее", а семь текстовых игр на несколько ходов, на русском и английском. Нам он экономит шаг: до выбора модели видно, держит ли она новые вводные и не противоречит ли себе.

Рейтинг "лучших" здесь не работает

Мы долго смотрели на сводные таблицы и спорили, какие лучшие ИИ-агенты получатся, если взять модель с верхней строки. Потом один и тот же сценарий разваливался на разных шагах: букву и символ модель ловила, а смысл ограничения через два хода теряла. MTGBench как раз про это. Вместо общего места - семь игр: Wordle, Word Chain, Situation Puzzles, 20 Questions, Wheel of Fortune, 20 Features и Alias. Четыре проверяет алгоритм, три - ИИ-судья, сверенный с людьми. Задания для языков собраны отдельно, это не перевод одной колоды.

Статья вышла в Findings of EMNLP 2026. Прогнали 16 моделей, от небольших Qwen до крупных Gemini и GPT. Польза пошагового рассуждения сильна там, где надо работать с буквами, символами и отсевом вариантов, и слабее на поиске знаний и семантике. Высокий балл в одной игре на другую не переносится. В русском модели в целом хуже, чем в английском. Сильнейшие с включённым рассуждением сравнялись с собранной человеческой базой или обошли её во всех семи играх. Люди при этом были сильны именно на буквенных головоломках.

Яндекс ИИ-агент из этой новости не собирается сам. Новость про тест, которым можно отсечь модель до того, как она сядет в контур. Пресс-релиз таблицу баллов по моделям не публикует. Цифры смотрят в репозитории и в статье, а не в пересказе.

Как посмотреть за один заход, не сжигая ключ

Репозиторий открытый: код под MIT, свои датасеты, разметка и промпты под CC BY 4.0. Нужен Python 3.11+ и OpenAI-совместимый API, если хотите живую партию. Опубликованные таблицы воспроизводятся без вызовов модели. Это первый ход, который мы делаем всегда: клонируем https://github.com/skyberg11/MTGBench и запускаем python -m analysis.reproduce. Так видно, как устроен разбор, и не тратится ни один токен.

Живой эпизод - отдельно и узко. Одна партия, не сотня: mtgbench wordle с --language ru и своим ключом. Русский Wordle здесь не "та же игра на другом языке". Он тянет RuWordNet, у словаря свои условия. Если агент у заказчика говорит по-русски, английская партия почти ничего не доказывает.

Смысл не в том, чтобы объявить победителя. Смысл - посмотреть, где модель держит новое правило хода, а где начинает отвечать из памяти "как обычно бывает".

Где тест сам подводит

Три игры без отдельной проверки не закрываются: алгоритма на них нет, нужен свой проверяющий контур. Человеческая база - небольшая русскоязычная выборка, на неё нельзя опереть выбор модели для всего отдела. Репозиторий прямо предупреждает про чувствительные слова в словарях и про ошибки ИИ-судьи. Судья тоже модель. Если он ошибся, "провал" агента может быть провалом проверки.

Ещё одна ловушка - перенести балл Wordle на агента, который ищет знание в базе и пишет деловой ответ. Авторы как раз показывают, что рассуждение помогает не везде. Мы уже обжигались на обратном: включали длинное рассуждение "потому что в бенчмарке так лучше", а на семантике шаг только дорожал и не становился точнее. MTGBench это подтверждает формой, а не нашим ощущением.

И не ждите, что тест заменит обучение ИИ-агентов на вашем процессе. Игры не знают ваших справочников, регламента и того, кому можно отдать шаг. Они отвечают на более узкий вопрос: не разваливается ли модель, когда вводные приходят по ходу, а не одним абзацем в начале.

Что закладываем в разработку, пока модель ещё не выбрана

В разработке ИИ-агентов мы больше не берём одну "лучшую" строку. Сначала решаем, какого типа ход будет в пилоте. Если это отсев, маски, коды, жёсткие форматы - имеет смысл смотреть игры на буквах и вариантах и пробовать пошаговое рассуждение. Если это смысл, поиск по знаниям, спор двух формулировок - балл буквенной игры почти не аргумент, рассуждение включаем выборочно.

Дальше обязателен русский прогон, если агент работает по-русски. Разрыв с английским в этом тесте не новость для тех, кто уже сажал модель на живые карточки, но теперь его можно показать без выдуманного кейса: задания собраны отдельно, и "просто переведи промпт" тут не считается честной проверкой.

Потом уже наш стенд: один узкий кусок процесса, новые вводные на втором и третьем шаге, явный запрет противоречить тому, что сказано раньше. MTGBench до этого стенда только фильтр. Он не говорит, какая модель станет агентом в контуре, и не заменяет передачу человеку, когда модель должна сказать, что не знает.

Для российского контура вывод практический. Чужой высокий балл на английском не повод тащить модель в пилот. Свой прогон на русском, одна игра под тип задачи, воспроизведение таблиц без API - и только потом разговор, какую модель ставить рядом с GigaChat Pro или YandexGPT на тех шагах, где язык и регламент важнее буквенной ловкости.

Если вы уже выбирали модель по сводному рейтингу и на третьем уточнении она "забывала" условие - с какой игры MTGBench вы бы начали, с букв или со смысла?

MTGBench Яндекса: семь игр вместо рейтинга, пока модель ещё не в агенте

Рейтинг "лучших" здесь не работает

Как посмотреть за один заход, не сжигая ключ

Где тест сам подводит

Что закладываем в разработку, пока модель ещё не выбрана

Похожие статьи

Обсудим, как это внедрить у вас