Автоматизация тестирования Telegram mini-app: два AI-агента с реальными аккаунтами вместо ручного QA

Автоматизация тестирования - это когда сценарии прогоняет не человек руками, а код или агент. Я отдал QA своего Telegram mini-app двум AI-агентам на Claude: они заходят в бота под реальными аккаунтами, играют как живые игроки, ловят баги и сами собирают логи. За два дня получилось 7 циклов тестировок и куча найденных проблем, которые руками я бы искал неделю.

Ниже - как это устроено: почему руками стало не вывезти, как работает связка из двух агентов, что она делает с найденным багом и сколько времени это отбивает.

Почему ручное тестирование mini-app перестало тянуть

Ручное тестирование перестаёт тянуть, когда проект большой: сценариев много, а времени на прокликивание мало. По данным Katalon (2025), 82% команд всё ещё тестируют руками, и главная боль у 55% - банально не хватает времени на тщательную проверку. У меня та же история: DnD-бот оброс флоу, и вручную все ветки уже не обойти.

Мой mini-app - это интерактивный чарник и игровые сценарии внутри бота. Каждая новая фича добавляет ещё десяток веток, которые надо прокликать заново перед релизом. Руками я закрывал хорошо если треть - и это не моя лень, а нормальная планка: ручные команды обычно держат 20-40% покрытия. Остальное живёт на вере в то, что "ну там же не трогали, значит работает". Знакомо? Вот и мне знакомо, поэтому баги регулярно вылезали уже у живых игроков.

Как AI-агенты тестируют Telegram-бота вместо меня

Два AI-агента на Claude заходят в бота под настоящими TG-аккаунтами и ведут себя как игроки: проходят весь флоу, общаются с DnD-ботом, гоняют разные кейсы поведения и делают скрины экрана. Где UI или логика ведут себя странно - фиксируют. Считай, это нейросеть для тестирования, которой скормили сценарии моего продукта.

Ключевое слово - реальные аккаунты, а не моки и не подделанные апдейты. Агент дёргает бота ровно так, как это сделал бы человек с телефона. Сам mini-app - это webview внутри Telegram, и такую штуку обычно гоняют браузерной автоматизацией вроде Playwright, поверх которой уже сидит агент и принимает решения "что нажать дальше".

Мысль "пусть нейросеть играет за игрока" звучит как фантазия, но это рабочий паттерн. LLM-агентов уже сажают тестировать настоящие игры: фреймворк TITAN, по данным исследования на arXiv (2025), развёрнут в восьми боевых game-QA пайплайнах. Так что агент, который проходит мою DnD-историю как обычный игрок, - не мой личный бред, а то же самое, только на моём проекте.

Что агент делает, когда втыкается в баг

Когда агент ловит проблему, он не просто пишет "тут сломалось". Он собирает контекст: лезет в код и смотрит, где могла быть ошибка, читает логи бота, достаёт данные из базы. На выходе получается не голый скрин, а связка симптом-код-лог-запись в БД. Мне остаётся посмотреть готовую картину, а не воспроизводить баг с нуля.

Это, честно, самая жирная плюшка. Обычно половина времени на баге уходит не на фикс, а на "погоди, а как это вообще повторить". Тут агент уже принёс мне и шаги, и подозрительное место в коде, и что в этот момент лежало в базе. Остаётся думать над решением, а не над воспроизведением.

Крит, мажор, минор: как я разбираю находки

Агент отдаёт мне список проблем на согласование, а я проставляю статус: крит, мажор, минор, план или идея. Баги он собирает в единый документ для DEV-агентов, планы дописывает в мой план-документ, а идеи складывает отдельно. Дальше документ с багами уходит в разработку, чиним, и круг повторяется до полного закрытия проблемы.

Тут важно, что человек всё ещё в цикле - решение "это крит или переживём" я оставил за собой. QA-агенты только находят и сортируют, а размечаю приоритеты я. Получается конвейер: одни агенты тестируют, я разбираю, DEV-агенты фиксят, и по новой. За два дня так прокрутилось 7 полных кругов.

Скилл, который допиливает сам себя

QA-скилл - это отдельный набор инструкций под мой DnD-проект. Я вгрузил в него, что и как проверять, и сделал несколько прогонов. Вижу что-то, что не нравится или наоборот нравится, - дописываю скилл. С каждым разом он становится точнее: не самообучение в ML-смысле, а честная ручная докрутка правил под мой продукт.

По ощущениям это и есть главный секрет, почему оно вообще заработало. Первый прогон был так себе - агент лез не туда и путался в сценариях. Но каждый косяк превращался в новую строчку в скилле, и к седьмому циклу он уже понимал мой флоу лучше, чем я сам помню его в деталях. Обычная накопительная докрутка, но эффект - как будто нанял тестировщика, который реально вникает.

Сколько это реально экономит и где подвох

За два дня агенты прогнали 7 циклов тестировок и нашли кучу багов, которые руками я бы искал долго из-за объёма флоу. Автоматизация поднимает покрытие с типичных 20-40% до 80% с плюсом (по QA-отчётам 2025 года) и заметно режет ручную рутину. Подвох честный: работы всё равно дохрена - агенты находят, но чинить и размечать всё равно надо руками.

И ещё одно, за чем я приглядываю. Агентов двое, а мультиагентные связки любят ломаться на стыке: по данным Zyrix (2025, со ссылкой на исследование Stanford AI Lab), 67% сбоев мультиагентных систем идут не от отдельного агента, а от того, как они общаются между собой. Поэтому я не отпускаю их в полную автономию - смотрю, где они друг друга запутали, и правлю скилл.

Пока я доволен. Это не серебряная пуля, а конвейер, который снимает самую тупую часть работы - прокликивание одного и того же по сто раз. Ручное QA он не отменяет, но объём, который раньше просто не доходили руки проверить, теперь закрывается сам. А я пойду чинить то, что эти двое уже успели нарыть.