Посещаемость по логам Nginx: считаем визиты без Метрики

0

Логи не врут ♡

Посещаемость по логам Nginx: считаем визиты без Метрики
Метрика легла,
логи остались ♡

Когда у Яндекса лежала Метрика, моя статистика за эти дни превратилась в решето. Но у сервера есть собственная память: Nginx записывает каждый запрос в журнал, никого не спрашивая. Из него можно вытащить много полезного обычными командами консоли, а не отдельным сервисом аналитики.

Где лежит журнал и как он устроен

По умолчанию Nginx пишет запросы в файл access.log в папке /var/log/nginx, одной строкой на запрос: адрес посетителя, время, запрошенный путь, код ответа, размер ответа, откуда пришёл и какой у него браузер. Старые журналы сжимаются и вращаются автоматически, поэтому за прошлые дни стоит заглядывать в архивы с расширением gz, а читать их можно командой zcat.

Одна оговорка про мой конфиг: для картинок и собранных файлов журнал отключён специально, чтобы не раздувать его. Для подсчёта страниц это даже плюс, лишнего шума нет.

Команды, которыми я пользуюсь

  1. Топ страниц: достаём из каждой строки седьмое поле через awk, сортируем, считаем повторы командой uniq с флагом -c и сортируем по убыванию.
  2. Число уникальных адресов за день: берём первое поле, оставляем строки с нужной датой и считаем уникальные значения через sort -u и wc -l.
  3. Ошибки 404: фильтруем строки, где девятое поле равно 404, и смотрим, какие несуществующие страницы чаще всего запрашивают. Так находятся битые ссылки.
  4. Боты: ищем в строках слова bot, crawler и spider и смотрим, какую долю трафика они занимают. Иногда она удивляет.
  5. Ответы с ошибками 500: смотрим, не повторяются ли они, и сопоставляем время с журналом приложения в storage/logs.

Почему цифры не совпадут с Метрикой

Журнал считает запросы, а не людей. Один посетитель, открывший пять страниц, даст пять строк, а робот, обходящий сайт, даст сотни. Метрика же показывает визиты и фильтрует часть ботов. Адрес не равен человеку: за одним адресом может сидеть целый офис или мобильный оператор. Поэтому для абсолютных цифр лог не годится, а вот для сравнения «стало больше или меньше», для поиска битых страниц и для проверки, ходит ли поисковый бот, он отлично подходит.

И последнее. Адреса посетителей это персональные данные, так что храните журналы ограниченное время и не отправляйте их в сторонние сервисы. Про то, как устроена моя подготовка к аналитике и рекламе, рассказано в записи про рекламу и запуск, а про сбой Метрики здесь.

Разовая проверка не заменяет привычку

Если хочется заглядывать в цифры регулярно, оформите команды в маленький скрипт и запускайте по расписанию. Но сначала просто попробуйте руками: десять минут возни с логами учат о сайте больше, чем часы разглядывания красивых графиков.

Комментарии

Буду рада вашим мыслям, идеям и вопросам!
Давайте обсуждать ♡

Пока никто не написал.
Станьте первым! ♡

Поддержать проект

Угостить кофе по СБП

Перевод через Систему быстрых платежей, сумма любая. Спасибо, что вы здесь ♡

QR-код для перевода по СБП
Дневник на почте

Подписаться на блог

Когда выйдет новая запись, я пришлю письмо со ссылкой. Без рассылок «просто так» и без спама. Отписаться можно одним нажатием.

Или следить в Telegram