Вакансии в телеграме: за 3 месяца парсер показал, что больше половины - шум

Три месяца назад я собрал маленького бота, который читает телеграм-каналы с вакансиями и складывает их в базу. Идея была ленивая: не листать руками сорок каналов, а получать вакансии одной лентой, уже без рекламы и повторов. А заодно бот незаметно копил статистику по всему, что через него прошло. И вот когда я в эту статистику залез, стало интересно и немного грустно.

За три месяца он прошёл около 9400 сообщений из 37 каналов. Когда я посмотрел, сколько из них реальных вакансий, приуныл: настоящих, неповторяющихся, оказалось меньше половины. Всё остальное - шум. Давайте по циферкам, без нытья.

Сколько реальных вакансий в телеграм-каналах?

Из ~9400 сообщений за 3 месяца настоящими уникальными вакансиями оказались только ~3940 - это 42% потока. Как вакансии бот распознал 63% (около 5900 сообщений), но внутри них 33% были дублями, а ещё 27% всего потока - реклама, инфоцыгане и просто не-вакансии. Итого больше половины ленты в таких каналах - это шум и повторы.

То есть если ты подписан на десяток каналов и честно читаешь всё подряд, то примерно каждое второе сообщение можно было не открывать. Не потому что каналы плохие - просто так устроена сама экосистема: одну и ту же вакансию перепечатывают все, кто может, плюс сверху капает реклама курсов и наборов в "менторство за долю от зарплаты". Оговорюсь сразу: это цифры одного моего бота и 37 конкретных каналов, на большую науку я не претендую. Но порядок величины, по-моему, показательный.

Откуда берётся реклама и мусор (27% потока)

Мусор - это всё, что выглядит как пост в канале вакансий, но вакансией не является. За три месяца такого набралось примерно 27% всего потока. Основные виновники по моим наблюдениям: реклама курсов и буткемпов, посты "наберу в команду за долю в проекте", вакансии-приманки без вилки и конкретики, а ещё дайджесты, опросы и мемы от самих админов канала.

С этим бот справляется проще всего. У поста-вакансии довольно предсказуемый скелет: должность, стек, формат работы, часто вилка и контакт для отклика. Если сообщение на этот скелет никак не ложится - отправляется в мусорку. Тут я, честно, много чего захардкодил на старте - стоп-слова, паттерны, обязательные поля - а потом уже причёсывал по живым ошибкам. Работает не идеально, иногда режет живую вакансию с кривым оформлением, но откровенный шлак отсекает уверенно. И знаете, что удивило? Что мусора именно "всего" 27%. Я, листая каналы глазами, был уверен, что рекламы там сильно больше половины. Оказалось, ощущение обманывает, а раздражает не столько реклама, сколько следующий пункт.

Почему одну вакансию видишь по пять раз (33% дублей)

Дубль - это одна и та же вакансия, опубликованная в нескольких каналах или несколько раз в одном. Среди распознанных вакансий таких оказалась ровно треть, 33%. И это, пожалуй, главная боль ручного поиска работы в телеграме: ты листаешь пять разных каналов и видишь один и тот же "Senior Python, удалёнка, до 400к" по пять раз, теряя ощущение, что вообще происходит что-то новое.

Почему так? Многие каналы живут на перепечатках. Кто-то агрегирует вручную, кто-то ставит автопостинг из соседних каналов, кто-то просто копипастит то, что популярно. Для читателя это значит, что "40 каналов с вакансиями" из красивых подборок - это на самом деле не 40 разных потоков, а сильно меньше, просто размазанных по разным ленточкам с разными названиями.

Ловить дубли технически сложнее, чем рекламу. Точное совпадение текста отлавливается на раз, но вакансию часто переписывают своими словами, режут абзацы, добавляют свой контакт вместо оригинального. Так что тут уже не тупое сравнение строк, а сравнение по смыслу и ключевым полям - компания, должность, вилка, стек. Это самая недопиленная часть бота, и я честно допускаю, что какая-то доля дублей всё ещё протекает мимо фильтра. Но даже то, что ловится, - это треть всех вакансий. Треть времени поиска ты в среднем тратишь на уже виденное.

Стоит ли вообще искать работу в телеграме?

Да, стоит - несмотря на весь этот шум. По оценкам сервисов подбора, больше 70% ищущих работу в IT сегодня используют именно телеграм-каналы, и вакансии там реально появляются раньше, чем на классических job-бордах, а контакт с работодателем чаще прямой. Проблема не в телеграме как площадке, а в том, что руками фильтровать эти 58% шума и повторов - долго и уныло.

Отсюда, собственно, и весь смысл затеи с ботом. Если из потока автоматом убрать рекламу и склеить дубли, остаётся тот самый нужный 42% - и вот его уже приятно читать одной лентой, а не собирать по крупицам из тридцати подписок и папок. Кстати, я не единственный, кто до этого додумался: есть сервисы вроде tgaijobs, которые тем же AI режут рекламу и дубли. Так что боль, похоже, общая - и решают её примерно одинаково.

Как отфильтровать дубли и рекламу самому

Если бота писать неохота, а разгрести поток хочется, вот что помогает даже без единой строчки кода:

• Подписывайся не на всё подряд, а на 5-10 профильных каналов под свой стек. Больше - это чаще всего те же вакансии в перепечатке, а не новые.
• Заведи отдельный аккаунт или хотя бы папку под поиск работы, чтобы вакансии не тонули в личных чатах и мемах.
• Игнорь посты без вилки и без прямого контакта работодателя. По моим цифрам это чаще всего либо реклама, либо посредник, который сам мониторит те же каналы.
• Одну и ту же вакансию из разных каналов откликай один раз, по первому источнику. Экономит и твоё время, и нервы HR, который иначе получит от тебя три одинаковых отклика.

Это не серебряная пуля, но процентов на семьдесят приближает ручной поиск к тому, что делает бот на автомате. Дисциплина рулит.

Как собрать своего бота для поиска работы

Если всё-таки хочется автоматизации - концепт простой, и я его собрал в одиночку за несколько вечеров. Логика такая: бот подписан на нужные каналы и читает новые сообщения, каждое прогоняет через фильтр "это вообще вакансия?", затем через дедуп "такое уже было?", и то, что прошло обе проверки, кладёт в базу с разобранными полями - стек, формат, вилка, контакт. А дальше сверху навешиваются пользовательские фильтры и выдача.

Самое муторное тут - не сам парсинг сообщений, а именно эти две проверки: распознавание вакансии и склейка дублей. Первую версию я, как обычно, залепил на скорую руку за вечер, обрадовался, что "оно ж работает", а потом месяц докручивал по реальным ошибкам. Похожую историю я уже проживал со снайпер-ботом для мемкоинов - там тоже было "быстро собрал, долго допиливал". Так что граблями меня уже не удивить, это нормальный жизненный цикл петпроекта: MVP за вечер, доводка до ума за месяц.

Мой бот пока бесплатный и с настраиваемыми фильтрами - можно выставить свой стек, формат и вилку и получать только релевантное, без рекламы и пятикратных повторов. Забирайте, если листать руками надоело: @joba_search_bot.

Что в итоге

Три месяца статистики уложились в одну слегка грустную мысль: больше половины контента в каналах с вакансиями - это шум и повторы, а настоящих уникальных вакансий всего около 42% потока. Телеграм для поиска работы всё равно топ, там правда быстрее и живее, чем на бордах. Просто читать его руками - значит половину времени листать одно и то же и фильтровать рекламу курсов.

Так что выбор простой: либо дисциплина и 5-10 каналов с ручным дедупом в голове, либо маленький бот, который делает скучную работу за тебя. Я выбрал второе - потому что Владька ленивый, а бот нет.