SiteWatch: как узнать, что на сайте что-то изменилось, не обновляя страницу каждые пять минут
SiteWatch на связи ♡
Я скажу ♡
Помните, я рассказывала, что в очереди после Мерки стоит SiteWatch? Он дожил до состояния, когда его не стыдно показать людям. Идея простая до неприличия: ты добавляешь ссылку на страницу, выбираешь, как часто её проверять, а дальше сервис сам сидит и смотрит. Если страница поменялась или перестала открываться, тебе прилетает сообщение в Telegram или на почту. Можно спокойно жить, а не обновлять вкладку, как человек, который ждёт ответа от рекрутера.
Зачем следить за страницей, если можно просто иногда заглядывать
Заглядывать можно, пока страница одна и тебе не лень. Потом страниц становится пять, один сайт тихо ложится в три часа ночи, а на другом без предупреждения правят условия, и узнаёшь ты об этом последней. Руками это делать скучно и ненадёжно, а скрипту всё равно, ночь сейчас или обед.
Делала я его в духе остальных своих штук: без лишнего, чтобы понятно с первого экрана. Как проект оказался в очереди, я рассказывала в записи про идеи после Мерки.
Для чего его можно использовать
- Свой сайт: узнать, что он перестал открываться, раньше, чем об этом напишут клиенты.
- Страница подрядчика, партнёра или конкурента: заметить, что в тексте поправили условия, тарифы или описание.
- Официальная страница, на которой должна появиться новость, дата или документ: не проверять её вручную каждое утро.
- Страница услуги или карточка, которая внезапно начала отдавать ошибку или уводить на другой адрес.
За чем умеет следить
- За содержимым страницы: сервис замечает, что текст изменился, и показывает, что именно.
- За доступностью: если сайт перестал открываться, придёт уведомление.
- За HTTP-кодом ответа: была страница с кодом 200, а стала с ошибкой или перенаправлением, и ты об этом узнаёшь.
- За сменой адреса при редиректе: в том числе когда страница вдруг начала вести на чужой домен.
Почему сравнивается текст, а не HTML
Очевидное решение: скачать страницу и сравнить с прошлой версией как есть. Работает ровно до первого счётчика, рекламного блока или скрипта, у которого в каждом запросе новый идентификатор. Страница выглядит той же самой, а байты другие, и ты получаешь десять уведомлений в день про «изменения», которых никто не видел. Через неделю их перестают читать, и сервис превращается в спам.
Поэтому SiteWatch сравнивает видимый текст. Скрипты, стили, реклама и счётчики игнорируются, и срабатывать он должен только тогда, когда поменялось то, что увидел бы человек. Ложных тревог из-за этого заметно меньше, хотя обещать ноль было бы враньём.
Что приходит в уведомлении и как часто проверяется
Проверять можно раз в 15 минут, раз в час, раз в 6 часов или раз в сутки, а какие интервалы доступны, зависит от тарифа. Когда сервис что-то находит, он пишет в Telegram или на почту и даёт ссылку на сравнение версий.
Сравнение сделано в формате «было → стало»: удалённый текст зачёркнут, добавленный подсвечен, так что искать отличия глазами не нужно. Все изменения копятся в истории с датами, и видно, как страница менялась со временем.
Свои сайты и чужие страницы
На бесплатном тарифе можно следить только за своими сайтами, предварительно подтвердив домен. Это не вредность: сервис ходит по адресам от имени сервера, и без проверок его легко использовать во зло. Как устроена защита от таких штук, я писала в статье про SSRF в PHP. Чужие страницы доступны на платных тарифах.
Чего SiteWatch не умеет
Он не анализирует JavaScript-код и не ищет скрытый вредоносный код, так что антивирус для сайта не заменит. Редиректы, которые делает JavaScript, он не ловит. А если весь контент страницы подгружается скриптом, сервис её не отрисует и честно пометит как неподдерживаемую, а не будет делать вид, что всё в порядке.
Попробовать
Начать проще всего со своего сайта: зарегистрироваться, подтвердить домен, добавить главную страницу и подключить Telegram. Это занимает несколько минут, а дальше сервис работает сам. Если страница, за которой давно хочется приглядывать, не влезает в мои сценарии, напишите мне, примеры из жизни как раз нужны. А как дела у Мерки, смотрите в записи про наблюдение за поиском.
Комментарии
Буду рада вашим мыслям, идеям и вопросам!
Давайте обсуждать ♡
Делитесь
своими мыслями
— мне очень
это важно ♡