Управление ИИ-агентами
Ваш ИИ-агент умер неделю назад. Отчёты приходят до сих пор
Наблюдаю, как предприниматели ставят ИИ-агентов и сразу выдыхают. Всё, теперь считает робот. А робот, между прочим, может молча перестать работать — и никто этого не заметит неделю.
Когда система падает, это событие. Сайт не открывается, телефон разрывается, все бегают. Неприятно, но честно: проблема видна, её чинят за час.
Гораздо хуже, когда ничего не падает. Всё зелёное, отчёт пришёл вовремя, цифры в нём правдоподобные. Просто они неправда.
Я называю это тихим отказом. И если обычную поломку вам покажет кто угодно, то тихий отказ не покажет никто — на то он и тихий.
Со мной это случилось на прошлой неделе
Расскажу про себя, потому что рассказывать про чужие грабли легко, а про свои полезно.
На моём сервере настраивали защиту — сервер регулярно пытаются взломать перебором паролей, вещь обычная. Защиту поставили, она заработала. И приняла за взломщика меня самого: закрыла доступ моему же адресу, с которого я подключаюсь.
Теперь внимание. Сайты при этом работали. Формы принимали заявки. Клиент, зайди он в ту минуту, не заметил бы ничего. Снаружи всё было идеально, а изнутри система была неуправляемой: ни обновить, ни починить, ни посмотреть.
И знаете, сколько уведомлений об этом пришло? Ноль. Ни от сервера, ни от провайдера, ни от какой-либо системы мониторинга. Мы узнали об этом только потому, что полезли выкладывать обновление и уткнулись носом.
Если бы мы не полезли туда руками в тот день, я бы узнал о проблеме через неделю. А если бы на этом сервере сидел агент, который каждое утро собирает мне данные по рекламе — я бы неделю принимал решения по цифрам, которых нет.
Но оно же работает, скажете вы
В том и фокус. У ИИ-агента отказ почти никогда не выглядит как отказ.
Агент — это не одна кнопка, это цепочка: он куда-то ходит за данными, что-то с ними делает, куда-то кладёт результат. Порвись любое звено — и вы получите не пустой экран с ошибкой, а красивый отчёт по неполным данным. Потому что так его написали: показать хоть что-то лучше, чем ничего. Это, кстати, самое вредное убеждение в нашей отрасли.
Вот четыре способа умереть тихо. Все четыре я видел живьём.
- Отозвали доступ. Сменился сотрудник, поменялся пароль в кабинете, истёк срок ключа. Агент перестал получать новые данные и считает по последним, которые у него есть.
- Поменялся формат выгрузки. Площадка что-то обновила у себя, часть полей приехала пустыми. Агент честно суммирует пустоту и выдаёт ноль там, где было двести тысяч.
- Отвалилась передача заявок. Классика, живёт десятилетиями. Заявки уходят в никуда, а отчёт показывает не поломку, а «падение спроса». И вы начинаете чинить отдел продаж, который ни при чём.
- Модель не ответила. Перегрузка, лимит, сбой у провайдера. Если в системе нет отдельной ветки «ответа не было» — в отчёт уедет заглушка, и выглядеть она будет как полноценный вывод.
Заметьте: ни в одном из четырёх случаев никто не врёт вам намеренно. Врёт устройство системы.
Что показывает монитор и что происходит на самом деле
Управление ИИ-агентами — это не настройка, это контроль тишины
Вот к чему я веду. У нас принято считать, что управление ИИ-агентами заканчивается на внедрении: подключили, проверили, работает, молодцы. А дальше начинается самое интересное, потому что агент — не сотрудник. Сотрудник, у которого отобрали доступ к кабинету, придёт и скажет. Агент не придёт и не скажет. Он будет продолжать делать вид.
И тут не нужно быть технарём. Нужно один раз задать правильный вопрос и не отставать, пока не получите внятный ответ: как я узнаю, что он перестал работать, если он об этом не скажет?
Если подрядчик отвечает «ну мы мониторим» — спросите, что именно он мониторит. В девяти случаях из десяти окажется, что он проверяет, отвечает ли программа. Это всё равно что проверять у сотрудника пульс вместо результатов работы.
| Что обычно проверяют | Что надо проверять | Вопрос, который это закрывает |
|---|---|---|
| Программа отвечает | Когда последний раз пришли новые данные | А цифры-то свежие? |
| Отчёт сформирован | Сколько источников из пяти сегодня ответили | Отчёт полный или наполовину? |
| Ошибок в журнале нет | Сколько записей за сутки и похоже ли это на правду | Ноль заявок — это кризис или поломка? |
| Подрядчик на связи | Кто внутри компании получает сигнал и за сколько реагирует | Кто узнает первым — я или клиент? |
Пять проверок, которые ставятся за день
Ничего сложного тут нет, и стоит это дешевле одного месяца работы агента.
- Дата последних данных — на видном месте. Не в журнале, не в настройках, а в самом отчёте, первой строкой: по каждому источнику дата и время последнего успешного получения. Старше суток — отчёт не считается.
- Тишина — это авария. Договоритесь о сроке для каждого источника: реклама молчит шесть часов, заявки — два часа, продажи — сутки. Превысили — приходит сигнал. Не «ошибка», а именно тишина.
- Проверка на правдоподобие. Ноль заявок за день, выручка вдвое выше обычной, сто заявок с одного номера — всё это требует звонка, а не строчки в отчёте. Система должна уметь удивляться.
- Честное «я не знаю». Если источник не ответил, в отчёте должно стоять «нет данных», а не вчерашнее число и не ноль. Это самое важное и самое редкое.
- У сигнала есть адресат. С именем, а не «команда разберётся». И с запасным человеком на случай отпуска. Сигнал, который приходит всем, не приходит никому.
Почему это вообще про деньги, а не про технику
Потому что стоимость тихого отказа растёт с каждым днём молчания, и растёт незаметно.
День первый — вы приняли одно решение по старым числам. День третий — вы подняли бюджет на кампанию, которая на самом деле уже не работает. День седьмой — вы устроили разнос отделу продаж за падение, которого не было. День десятый — вы начинаете догадываться, что цифры странные, и теряете ещё неделю на выяснение, какие из них настоящие.
А теперь самое неприятное: после такой истории люди перестают верить отчётам вообще. И правильно делают. Восстанавливать это доверие потом дольше и дороже, чем было бы поставить пять проверок из списка выше.
Я к этому отношусь просто. Любая система, которая говорит с вами цифрами, обязана уметь сказать «я не знаю». Не умеет — значит, она будет уверенно врать, и вы не отличите одно от другого.
Это касается и коробочных решений: корпоративный ассистент от Яндекса замолчит точно так же, если у него отберут доступ к источнику. Платформа тут ничем не отличается от самописного агента.
С чего начать, если агента ещё нет
Если вы только присматриваетесь — сначала честно ответьте себе, нужен ли он вообще: двенадцать вопросов до оплаты я собрал отдельно, и половина запросов на агента после них закрывается регламентом на одну страницу.
Если агент уже работает — начните с самого скучного. Посмотрите, как у вас вообще устроен учёт обращений и источников: откуда данные приходят, кто отвечает за их полноту, что происходит, когда источник молчит. Обычно неприятные открытия начинаются на этом шаге, ещё до всякого ИИ.
И пока вы это читаете — откройте свой последний отчёт и найдите в нём дату получения данных. Если её там нет, вы не знаете, насколько он свежий. Вот прямо сейчас не знаете.