Как сравнивать страницы, чтобы не просыпаться от ложных тревог: текст вместо HTML
Текст, а не HTML ♡
человек ♡
Самое очевидное, что приходит в голову, когда делаешь мониторинг изменений: скачать страницу, посчитать хеш и сравнить с прошлым. Я так и начала, и это продержалось ровно до первой реальной страницы. Там была пара счётчиков, баннер и скрипт, который при каждой загрузке придумывал себе новый идентификатор. Хеш менялся постоянно, а на экране ничего не менялось. Такой мониторинг через день хочется выключить.
Что считается «изменением»
Для человека страница изменилась, если поменялось то, что он видит и может прочитать. Всё остальное для него шум. Поэтому SiteWatch не сравнивает разметку, а сначала превращает её в видимый текст и только его сохраняет и сравнивает. Работает это через обычный DOMDocument: страница разбирается в дерево, из дерева выбрасывается всё лишнее, и по остатку собирается текст.
Выбрасываются комментарии, скрипты, стили, noscript, шаблоны, svg, iframe, canvas, head, object и embed. Отдельно удаляются скрытые элементы: с атрибутом hidden, с aria-hidden и с display:none в стиле. Скрытое меню, которое при обновлении сайта меняется само, тревогу поднимать не должно.
Блоки, пробелы и невидимые символы
Если просто склеить текстовые узлы, абзацы слипнутся в кашу, а diff потом будет показывать целые простыни. Поэтому вокруг блочных элементов (абзацы, заголовки, списки, строки таблиц и так далее) ставится перевод строки, и на выходе получается текст, где одна строка примерно равна одному смысловому куску.
Дальше идёт чистка. HTML-сущности превращаются в символы, неразрывный пробел, пробел нулевой ширины и BOM превращаются в обычные пробелы, повторяющиеся пробелы схлопываются, пустые строки выбрасываются. Звучит мелочью, но именно такие мелочи дают призрачные изменения: на сайте кто-то пересохранил текст в другом редакторе, и вместо обычного пробела там неразрывный. Для глаза ничего, для хеша катастрофа.
Ещё один подводный камень: кодировка
- Если ответ уже в UTF-8, ничего не трогаем.
- Если нет, ищем в тексте charset и конвертируем из него.
- Если и это не помогло, считаем, что перед нами Windows-1251: старые русские сайты всё ещё живут именно так.
Что в итоге хешируется
Берётся уже очищенный текст, режется до лимита хранения и прогоняется через sha256. Хеш хранится при каждой проверке, а сам текст только для первой версии и для тех, что изменились. Так база не пухнет от одинаковых страниц. Как потом из двух текстов получается читаемый diff, я расскажу в статье про построчное сравнение.
Что так не поймать
Если страница целиком собирается скриптом, то из HTML выйдет пустой текст, и сравнивать нечего. SiteWatch такие страницы честно помечает как неподдерживаемые, а не делает вид, что всё в порядке. Это ограничение, а не баг, и скрывать его я не собираюсь. Знакомство с самим проектом лежит в отдельной записи.
Комментарии
Буду рада вашим мыслям, идеям и вопросам!
Давайте обсуждать ♡
Делитесь
своими мыслями
— мне очень
это важно ♡