Посещаемость по логам Nginx: считаем визиты без Метрики
Логи не врут ♡
логи остались ♡
Когда у Яндекса лежала Метрика, моя статистика за эти дни превратилась в решето. Но у сервера есть собственная память: Nginx записывает каждый запрос в журнал, никого не спрашивая. Из него можно вытащить много полезного обычными командами консоли, а не отдельным сервисом аналитики.
Где лежит журнал и как он устроен
По умолчанию Nginx пишет запросы в файл access.log в папке /var/log/nginx, одной строкой на запрос: адрес посетителя, время, запрошенный путь, код ответа, размер ответа, откуда пришёл и какой у него браузер. Старые журналы сжимаются и вращаются автоматически, поэтому за прошлые дни стоит заглядывать в архивы с расширением gz, а читать их можно командой zcat.
Одна оговорка про мой конфиг: для картинок и собранных файлов журнал отключён специально, чтобы не раздувать его. Для подсчёта страниц это даже плюс, лишнего шума нет.
Команды, которыми я пользуюсь
- Топ страниц: достаём из каждой строки седьмое поле через awk, сортируем, считаем повторы командой uniq с флагом -c и сортируем по убыванию.
- Число уникальных адресов за день: берём первое поле, оставляем строки с нужной датой и считаем уникальные значения через sort -u и wc -l.
- Ошибки 404: фильтруем строки, где девятое поле равно 404, и смотрим, какие несуществующие страницы чаще всего запрашивают. Так находятся битые ссылки.
- Боты: ищем в строках слова bot, crawler и spider и смотрим, какую долю трафика они занимают. Иногда она удивляет.
- Ответы с ошибками 500: смотрим, не повторяются ли они, и сопоставляем время с журналом приложения в storage/logs.
Почему цифры не совпадут с Метрикой
Журнал считает запросы, а не людей. Один посетитель, открывший пять страниц, даст пять строк, а робот, обходящий сайт, даст сотни. Метрика же показывает визиты и фильтрует часть ботов. Адрес не равен человеку: за одним адресом может сидеть целый офис или мобильный оператор. Поэтому для абсолютных цифр лог не годится, а вот для сравнения «стало больше или меньше», для поиска битых страниц и для проверки, ходит ли поисковый бот, он отлично подходит.
И последнее. Адреса посетителей это персональные данные, так что храните журналы ограниченное время и не отправляйте их в сторонние сервисы. Про то, как устроена моя подготовка к аналитике и рекламе, рассказано в записи про рекламу и запуск, а про сбой Метрики здесь.
Разовая проверка не заменяет привычку
Если хочется заглядывать в цифры регулярно, оформите команды в маленький скрипт и запускайте по расписанию. Но сначала просто попробуйте руками: десять минут возни с логами учат о сайте больше, чем часы разглядывания красивых графиков.
Комментарии
Буду рада вашим мыслям, идеям и вопросам!
Давайте обсуждать ♡
Делитесь
своими мыслями
— мне очень
это важно ♡