ИИ-агент Hermes в чате отвечает не так, как агент на вашей платформе

Закупщик принёс один вопрос в двух окнах: в чате ИИ-агент Hermes ответил коротко и по делу, а в платформе ИИ-агентов тот же текст ушёл в оговорки и оперся на документ, который к вопросу почти не относился. Руководитель решил, что модель слабая, и попросил заменить её до конца недели. Мы модель не трогали и сначала разложили, кто отвечает: сама модель или уже агент со своими правилами. Такой разбор экономит шаг тем, кто выбирает агента и модель ИИ по красивому чужому чату, а потом удивляется на своём контуре.

Два ответа - это два разных договора

Hermes в открытом чате - не голая модель. У него свой системный текст, свои привычки и часто свой набор действий. Платформа подставляет другое: описания инструментов, фрагменты из поиска, запрет достраивать из памяти, потолок длины.

Ответы ИИ-агентов в этих режимах расходятся не потому, что один умнее. У них разный договор с человеком. Чат обязан звучать полезно. Агент обязан остановиться на данных контура.

Мы сначала подкрутили тон и приветствие. Фразы стали похожи, смысл - нет. Стиль оказался ни при чём.

Три прогона, и ни одного лишнего рычага

Берём вопрос, из-за которого уже спорят. Дальше меняем только состав обвязки.

Первый прогон - модель без агента. Пустой системный текст, инструменты выключены, в контексте один вопрос. Так видно, держит ли модель тему сама.

Второй - та же модель и боевая инструкция, инструменты по-прежнему выключены. Если ответ уже уехал в сторону, чинить надо инструкцию, а не цикл вызовов.

Третий - полный ход: инструменты, поиск, правило остановки. В журнал кладём не только фразу для человека, но и то, что модель увидела шагом раньше. Иначе финал нечем объяснить.

Тот же третий прогон имеет смысл снять на модели российского контура. Если документы нельзя выносить наружу, у нас на этом месте обычно GigaChat Pro или YandexGPT. Hermes в таком сравнении - ориентир, как открытые веса ведут себя без вашей обвязки, а не замена контура. Смотрим не красоту абзаца, а решение: ответил, отказался, позвал инструмент или замолчал.

Где ответ ломается по дороге

Первая ловушка - чужой системный текст. Человек читает ответ ИИ-агента Hermes в его чате и думает, что видит модель. На платформе этот текст уже заменён вашим. Спорят о модели, сравнивают двух агентов.

Вторая - размытое описание инструмента. В чате модель честно пишет, что в материалах этого нет. Агент вызывает поиск, получает соседний фрагмент и строит ответ на нём. Снаружи это похоже на выдумку. Внутри модель следует плохой схеме.

Третья - наружу уходит не финал, а сырой результат инструмента. Таблица, обрывок JSON или служебная пометка. В чате такого шага не было, поэтому текст выглядел цельнее.

Четвёртая - разный бюджет ответа. В чате можно рассуждать длинно. У агента стоит короткий предел и просьба не размазывать. Люди читают обрубок и ставят минус модели.

На этом месте мы один раз модель всё-таки сменили. Новый агент на другой модели ИИ так же цитировал не тот фрагмент. Вернули прежнюю и поправили описание инструмента: когда поиск не вызывать. После этого ответы ИИ-агента перестали спорить с вопросом. Красота чужого чата не вернулась, и не должна была. Задача другая.

Что поменять в платформе ИИ-агентов до смены модели

В журнале хода держите две строки. Что модель сказала до инструментов и что агент отдал человеку. Вторая строка - рабочий ответ. Первая нужна, когда говорят "вчера было лучше".

Туда же пишите имя модели, версию инструкции и список включённых инструментов. Через неделю все помнят удачную фразу и никто не помнит настройку. Без этой тройки спор не закрыть.

Инструмент называйте по условию вызова, а не по мечте. Формулировка "поищи в базе" срабатывает почти всегда. Формулировка "вызывай только если в вопросе есть номер договора" уже режет лишнее.

Финал опишите отдельно от роли агента. Инструменты пустые - так и сказать, что данных нет. Инструмент что-то вернул - отвечать по нему и не подмешивать то, что модель и так "помнит" из обычного чата.

Чат с Hermes не делайте приёмкой. Приёмка - ваш сценарий: вопрос, ожидаемое действие, допустимый отказ. Чужой удачный ответ годится как образец тона. Тестом он не становится.

Если Hermes запускаете у себя, в сравнение должна попасть та же сборка, тот же предел контекста и тот же режим, что на стенде. Облачный чат и урезанная локальная копия под одним именем - снова два агента.

Сначала обвязка, потом вывеска модели

Пока три прогона не разложены, смена модели почти ничего не объясняет. Расхождение чаще сидит между инструкцией и полным ходом агента, а не между двумя названиями на витрине. Платформа ИИ-агентов меняет ответ сильнее, чем замена таблички.

Когда у вас в последний раз слабый ответ сравнивали с чужим чатом, не открыв, какой инструмент модель успела вызвать?