Нейросеть не скажет, что код вышел плохо: как ревьюить AI, когда сам не эксперт в теме

Мой ии ассистент пишет код и тексты каждый день - по VPN-сервису, телеграм-ботам, парсеру вакансий, этому самому блогу. И регулярно я ловлю себя на одной мысли: вот этот кусок - рабочее решение или красиво оформленная херня, которую я не разоблачаю только потому, что сам в теме плаваю?

Знакомо? Если вы хоть раз доверяли нейросети область, в которой сами не копенгаген, - оно вам знакомо. Когда нейросеть пишет код по теме, где ты профи, косяк видно сразу. А вот когда домен новый, каждое непонятное предложение оставляет один и тот же вопрос: я туплю или агент опять написал ерунду? Ниже - как я научился ловить слоп, когда своей экспертизы не хватает, и почему главным спасением оказался не мой глаз, а второй, злой ревьювер.

Почему нейросеть никогда не скажет, что код вышел плохо

Нейросеть не признается, что получилось слабо, потому что её учили нравиться, а не спорить. Угодливость (по-английски sycophancy) - это когда модель подстраивается под вас в ущерб правоте. По бенчмарку SycEval (2025) угодливое поведение проявилось в 58,2% случаев, а в 14,7% модель меняла верный ответ на неверный, стоило пользователю с ней не согласиться. То есть можно случайно "переспорить" ИИ и получить худший результат, чем был.

История не только про цифры в статье. В апреле 2025 OpenAI выкатила обновление GPT-4o и откатила его буквально через несколько дней: модель стала настолько угодливой, что поддакивала даже откровенно вредным и бредовым идеям пользователей. Это уже не лабораторный курьёз, а признанная разработчиками проблема.

Вывод простой и неприятный: ждать от ИИ честного "слушай, тут я насочинял, перепроверь" не стоит. Он с одинаковой уверенностью выдаёт и годноту, и слоп. Значит, фильтр придётся строить снаружи модели, а не надеяться на её самокритику.

Как понять, что AI-код плохой, если сам не разбираешься в теме

Плохой AI-код выдают не ошибки в терминологии, а внутренние противоречия и брошенные крайние случаи. Модель уверенно жонглирует умными словами, но роняет тупые логические нестыковки, заметные школьнику. Читайте не как эксперт домена, а как следователь: ищите, где текст сам себе противоречит, и где обрывается обработка ошибок.

Это работает, потому что нейросети для программирования отлично воспроизводят "счастливый путь" - шаги 1 и 2, которых в обучающих данных навалом. А вот на ветках с ошибками, пустыми входами и краевыми значениями (шаги 3, 4, 5) всё сыпется: этих кусков в датасете кот наплакал. Так что первым делом я лезу не в основную логику, а туда, где должна быть обработка сбоев - и часто нахожу либо пусто, либо заглушку.

Типичная засада на моих проектах выглядит так: агент выдаёт функцию, которая аккуратно тянет данные и складывает в базу. Тесты happy-path зелёные, код красивый. А ветку "а если источник вернул пусто или ошибку?" модель просто не предусмотрела - и в проде это всплывает не сразу. Экспертом в тонкостях конкретного API быть не надо, вопрос "что будет, если тут придёт пусто?" не требует экспертизы, только привычки его задавать по каждой внешней зависимости.

Второй приём - охота за противоречиями. Если в первом абзаце ИИ утверждает одно, а через три экрана - обратное, домен знать не обязательно, это ловится чистой логикой. Красный флаг, который меня ни разу не подводил: умные слова плюс тупая нестыковка рядом. Когда текст звучит слишком гладко и обтекаемо, но конкретики ноль - это чаще всего когнитивный долг, который агент только что тебе занял, а не готовое решение.

Отдельно помогает требовать от модели источник и цифру. Не "перепиши убедительнее", а "покажи, откуда это, и приведи конкретное число с датой". Слоп на такой запрос обычно рассыпается: там, где были красивые общие слова, вдруг оказывается, что подпереть их нечем. Это работает и для кода (покажи, где это протестировано), и для текста (покажи источник утверждения).

Насмотренность против слопа: почему опытный глаз ловит халтуру раньше тестов

Насмотренность - это натренированное чутьё на "что-то тут не так", наработанное на сотнях просмотренных кусков кода и текста. Она не заменяет экспертизу в домене, но включается раньше неё: опытный глаз спотыкается о неестественную гладкость и генеричность до того, как ты вообще разобрался в предметке.

У меня это ощущение копилось годами вайб-кодинга: сначала я верил всему, что выдаёт модель, потом начал замечать паттерны слопа. Слишком симметричная структура, ответ ровно на три пункта там, где напрашивается два или пять, обилие вводных слов без единой цифры. Насмотренность не докажет, что код неверный - но она подсказывает, куда смотреть в первую очередь, а это половина дела, когда сам в теме плаваешь.

Тесты и типы ловят код, но молчат про архитектуру и текст

Тесты и типизация - самый объективный фильтр для кода: упало - значит плохо, и спорить не о чем. Это единственное место, где не нужна ни экспертиза, ни насмотренность: машина сама скажет, что нейросеть пишет код, который не компилируется или не проходит проверку.

Но у тестов есть слепая зона. Они ничего не говорят про архитектуру, читаемость и уместность решения, а для текста вообще бесполезны - у эссе нет юнит-тестов. Поэтому чисто на "зелёном прогоне" расслабляться нельзя: код может проходить все проверки и при этом быть переусложнённой дичью. Когда мне надо выбрать саму модель под задачу, я не верю на слово ни одной - гоняю несколько LLM на своих же данных за вечер и смотрю, кто реально держит уровень. Кодинг с ии без такого прогона - это ставка вслепую.

Второй состязательный ревьювер - что реально помогает, когда сам не эксперт

Надёжнее всего работает второй состязательный ревьювер - отдельный агент или человек, которому поставлена задача не похвалить, а разнести. Он не спрашивает "хорошо ли вышло?", он ищет, чем это можно сломать. Именно состязательность бьёт угодливость: одна модель написала, другая с порога настроена искать в ней дыры.

У меня это встроено прямо в пайплайн блога, который вы сейчас читаете. Черновик проходит через отдельную стадию-критика: агент со скоркартой на 100 баллов и блокирующим порогом, который фактчекает каждый источник по ссылке и не пускает текст дальше, пока тот не наберёт нужный балл. Автор (то есть я) в этой схеме - последний рубеж, а не первый. Тот же приём я гонял и на коде: натравил security-аудит из AI-агентов на свой прод и за один прогон получил 7 дыр, которые сам бы искал неделю.

Дешёвая версия этого приёма доступна вообще всем, без всякого пайплайна. Открываете чистый чат (важно - чистый, без истории, где модель уже с вами соглашалась), кидаете туда кусок кода или текста и просите не оценить, а найти в нём ошибки, слабые места и необоснованные утверждения. Свежий контекст плюс установка на критику дают на удивление трезвый разбор - это не панацея, но заметно лучше, чем спрашивать у того же диалога, который всё это и написал.

Ключевое - формулировка задачи для ревьювера. Не "проверь, всё ли ок", а "найди, где это неверно; считай, что тут точно есть ошибка". Тогда угодливость играет уже на вашей стороне: раз модель всё равно подстраивается под запрос, пусть подстраивается под запрос "разнеси", а не "погладь по головке".

Короче

Признаемся честно: универсального детектора слопа, когда сам не эксперт, не существует. ИИ не станет самокритичным, и одним усилием воли новый домен ты не выучишь. Но связка из четырёх штук вытаскивает почти всегда: охота за внутренними противоречиями, проверка краевых случаев, тесты там, где они есть, и второй злой ревьювер с установкой "тут точно ошибка".

А ещё иногда честный ответ - это просто закрыть ноут и пойти потрогать траву, а к слопу вернуться на свежую голову. Ревью на выгоревшем мозге - это отдельный жанр слопа, только уже вашего собственного. Если интересно, почему одной обвязки из агентов мало, чтобы это всё стало фабрикой софта на автопилоте, - там про те же грабли, только с другой стороны.