Screaming Frog SEO Spider: что это, как установить и пользоваться

Screaming Frog SEO Spider — одна из самых популярных программ для технического SEO-аудита. Её используют специалисты по всему миру: от фрилансеров до крупных агентств. Программа обходит сайт как поисковый робот и собирает данные обо всех страницах, ссылках, метатегах, заголовках, редиректах и ошибках.

В этой инструкции — полный разбор: что умеет Screaming Frog, как его установить, как запустить первое сканирование и что смотреть в отчётах.

Что такое Screaming Frog SEO Spider

Screaming Frog SEO Spider — десктопная программа для краулинга сайтов. Краулер — это робот, который последовательно обходит страницы сайта по ссылкам и собирает данные о каждой из них. Именно так работают поисковые роботы Яндекса и Google — Screaming Frog имитирует этот процесс и позволяет увидеть сайт глазами поисковика.

Разработана британской компанией Screaming Frog Ltd. Первая версия вышла в 2010 году, с тех пор программа регулярно обновляется и остаётся стандартом отрасли для технического аудита.

Для чего используется программа

Screaming Frog решает широкий круг задач технического SEO:

• Поиск битых ссылок и страниц с ошибками 4xx и 5xx
• Обнаружение редиректов и цепочек редиректов
• Анализ метатегов — Title и Description: дубли, пустые, слишком длинные или короткие
• Проверка заголовков H1: отсутствующие, дублирующиеся, множественные
• Поиск дублированных страниц и проверка канонических тегов
• Анализ изображений: отсутствующие alt-теги, слишком тяжёлые файлы
• Проверка структуры внутренних ссылок и глубины страниц
• Анализ hreflang для многоязычных сайтов
• Аудит структурированных данных (Schema.org)
• Интеграция с Google Analytics и Search Console для обогащения данных

Это не замена полноценному SEO-аудиту — но незаменимый инструмент для его проведения. За час краулинга программа даёт данные, сбор которых вручную занял бы недели.

Бесплатная и платная версия: отличия и ограничения

Screaming Frog распространяется по модели freemium.

Для небольших сайтов до 500 страниц бесплатная версия полностью покрывает базовые задачи аудита. Для крупных проектов и регулярной работы нужна платная лицензия.

Установка и первый запуск

Системные требования

Screaming Frog работает на Windows, macOS и Linux. Для нормальной работы рекомендуется:

• Оперативная память: минимум 4 ГБ, рекомендуется 8 ГБ и больше для крупных сайтов
• Java: программа включает собственную JRE, отдельно устанавливать не нужно
• Свободное место на диске: от 500 МБ для установки, больше для хранения проектов
• Интернет-соединение: нужно для краулинга живых сайтов

При сканировании очень больших сайтов (десятки тысяч страниц) рекомендуется увеличить выделяемую программе память через настройки — об этом ниже.

Как скачать и установить

1. Зайдите на официальный сайт: screamingfrog.co.uk/seo-spider
2. Нажмите «Download» и выберите версию для своей операционной системы
3. Запустите установщик и следуйте инструкциям — установка стандартная, несколько кликов
4. После установки запустите программу

Если у вас платная лицензия — введите лицензионный ключ через меню Help → Enter Licence. Если используете бесплатную версию — просто начинайте работу без активации.

Интерфейс: что где находится

При первом запуске интерфейс может показаться перегруженным. На самом деле логика простая.

• Строка адреса вверху — сюда вводите URL сайта для сканирования и нажимаете Start.
• Вкладки в центре — основная рабочая область. Каждая вкладка — отдельный тип данных: Internal (внутренние страницы), Images, CSS, JavaScript, Redirects и другие. Внутри каждой вкладки — фильтры для сортировки результатов.
• Нижняя панель — детали выбранной страницы: все метатеги, заголовки, входящие и исходящие ссылки, время ответа сервера.
• Правая панель (если включена) — визуализация структуры сайта, граф ссылок.
• Меню Configuration — настройки сканирования: глубина обхода, скорость, user agent, исключения, JavaScript-рендеринг. Перед первым серьёзным аудитом стоит заглянуть сюда.

Как пользоваться Screaming Frog SEO Spider: пошаговая инструкция

Как запустить сканирование сайта

1. Введите URL сайта в строку вверху. Формат: https://example.ru — с протоколом, без лишних страниц в конце.
2. Нажмите Start. Программа начнёт обход с главной страницы и пойдёт по всем внутренним ссылкам.
3. Наблюдайте за прогрессом в нижней строке статуса: количество обойдённых URL, скорость, количество ошибок.
4. После завершения — анализируйте данные во вкладках.

Скорость сканирования можно настроить в Configuration → Speed. По умолчанию программа делает несколько запросов в секунду — это комфортно для большинства серверов. Для больших сайтов можно увеличить скорость, но следите за нагрузкой на сервер: агрессивный краулинг может временно замедлить сайт.

Если нужно просканировать только часть сайта — используйте Configuration → Include/Exclude, чтобы задать паттерны URL для включения или исключения из обхода.

Основные вкладки и что в них смотреть

• Internal — все внутренние страницы сайта. Здесь видны коды ответов (200, 301, 404, 500), Title, H1, глубина страницы, количество входящих ссылок. Это стартовая точка любого аудита.
• Response Codes — страницы, сгруппированные по кодам ответа. Фильтр «Client Error (4xx)» сразу показывает все битые страницы. Фильтр «Redirection (3xx)» — все редиректы.
• Page Titles — анализ тегов Title. Фильтры: Missing (пустые), Duplicate (дубли), Over 60 Characters (слишком длинные), Below 30 Characters (слишком короткие).
• Meta Description — то же самое для Description.
• H1 — заголовки страниц. Фильтры: Missing, Duplicate, Multiple (несколько H1 на странице).
• Images — изображения. Фильтр «Missing Alt Text» показывает все картинки без alt-атрибута. «Over 100kb» — тяжёлые изображения, которые замедляют загрузку.
• Directives — canonical-теги, noindex, nofollow. Здесь проверяется корректность директив индексации.
• Hreflang — разметка для многоязычных сайтов. Ошибки hreflang — частая проблема на международных проектах.

Фильтры и экспорт данных

Внутри каждой вкладки есть выпадающий список фильтров — это главный инструмент работы с данными. Не смотрите на все 10 000 URL сразу — применяйте фильтр и работайте с конкретной проблемой.

Экспорт данных: выберите нужную вкладку и фильтр → меню Export в правом верхнем углу → сохраните в CSV или Excel. Экспортировать можно как текущий отфильтрованный список, так и все данные вкладки целиком.

Массовый экспорт всех отчётов сразу: меню Reports → сохраняет набор стандартных отчётов в папку. Удобно для передачи клиенту или хранения истории аудитов.

Что проверять в первую очередь: технический аудит через Screaming Frog

Ошибки 4xx и 5xx

Вкладка Response Codes → фильтр Client Error (4xx). Здесь — все страницы, которые возвращают ошибку 404 (не найдено) или другие клиентские ошибки.

На каждую страницу с 4xx нажмите правой кнопкой → «Inlinks» — увидите, какие страницы ссылаются на этот битый URL. Это даёт список мест, где нужно исправить ссылку или настроить редирект.

Ошибки 5xx (серверные ошибки) — сигнал проблем с сервером или приложением. Если их много — нужна диагностика на уровне хостинга.

Редиректы и цепочки редиректов

Вкладка Response Codes → фильтр Redirection (3xx). Одиночные редиректы — нормально. Проблема — цепочки: когда страница A редиректит на B, B — на C, C — на D. Каждый лишний шаг в цепочке тратит краулинговый бюджет и замедляет загрузку.

Для анализа цепочек: меню Reports → Redirect Chains. Программа покажет все цепочки длиннее одного шага — их нужно укорачивать до прямого редиректа.

Отдельно проверьте редиректы с HTTP на HTTPS и с www на без www (или наоборот) — они должны быть прямыми и консистентными.

Дубли страниц и канонические теги

Дубли — одна из самых частых проблем крупных сайтов. Screaming Frog находит их через анализ контента и URL-паттернов.

Вкладка Directives → фильтр Canonical → смотрите страницы, где canonical указывает на другой URL (canonicalised). Это страницы, которые сами себя считают дублями — важно убедиться, что canonical проставлен корректно.

Дубли Title и H1 — косвенный признак дублирования контента. Вкладка Page Titles → фильтр Duplicate — показывает группы страниц с одинаковым заголовком.

Title и Description: пустые, дубли, слишком длинные

Оптимальная длина Title — 50–60 символов. Description — 130–155 символов. Отклонения в обе стороны — повод для правки.

Приоритеты при исправлении: сначала пустые (Missing) — страница без Title практически не имеет шансов в выдаче. Потом дубли (Duplicate) — поисковик не понимает, какую из одинаковых страниц ранжировать. Потом слишком длинные — Title обрезается в выдаче, теряется смысл.

H1: отсутствующие и дублирующиеся

H1 — главный заголовок страницы, один из важных текстовых сигналов для поисковика. На каждой странице должен быть ровно один H1, который соответствует теме страницы и отличается от Title (но не противоречит ему).

Вкладка H1 → фильтр Missing: страницы без H1 — приоритет для исправления. Фильтр Multiple: страницы с несколькими H1 — нужно оставить один главный, остальные перевести в H2.

Изображения без alt-тегов

Alt-текст — описание изображения для поисковика и для людей с нарушениями зрения. Поисковики не «видят» картинки — они читают alt. Страницы с заполненными alt-тегами лучше ранжируются по визуальному поиску.

Вкладка Images → фильтр Missing Alt Text. Экспортируйте список → расставьте осмысленные описания, а не просто «image1», «photo».

Интеграция с Google Analytics и Search Console

Платная версия Screaming Frog позволяет обогатить данные краулинга метриками из GA и GSC. Это превращает технический аудит в полноценный анализ: вы видите не просто список страниц, а их трафик, позиции и поведенческие показатели.

Как подключить Google Search Console:

1. Меню Configuration → API Access → Google Search Console
2. Авторизуйтесь через Google-аккаунт с доступом к нужному ресурсу
3. Выберите сайт и временной период
4. После краулинга данные GSC (клики, показы, позиции, CTR) добавятся к каждому URL

Как подключить Google Analytics:

1. Меню Configuration → API Access → Google Analytics
2. Авторизуйтесь и выберите нужный ресурс и представление
3. После краулинга к каждой странице добавятся сессии, показатель отказов, конверсии

Что это даёт на практике: вы можете отсортировать страницы с техническими проблемами по трафику и заниматься сначала теми, которые реально влияют на результат. Страница с битым H1 и 5 000 сессий в месяц — приоритет. Та же проблема на странице с 10 сессиями — подождёт.

Настройка Screaming Frog под конкретные задачи

Сканирование отдельных разделов

Иногда нужно проверить не весь сайт, а конкретный раздел — например, блог или каталог товаров. Два способа:

Через Include: Configuration → Include → добавьте паттерн URL. Например, example.ru/blog/ — программа обойдёт только страницы, URL которых содержит этот путь.

Через список URL: Mode → List → загрузите файл со списком конкретных URL. Screaming Frog проверит только их, без обхода по ссылкам. Удобно для точечной проверки после внесения правок.

Кастомный поиск и кастомная экстракция

Configuration → Custom → Search — позволяет искать любой текст или паттерн на страницах сайта. Например, найти все страницы, где встречается определённое слово, старый номер телефона или устаревший скрипт.

Configuration → Custom → Extraction — извлекает данные из любого элемента страницы по CSS-селектору или XPath. Можно вытащить цены, заголовки статей, даты публикации, любые метаданные — и экспортировать в таблицу.

Режим JavaScript-рендеринга

Современные сайты на React, Vue, Angular и других JS-фреймворках рендерят контент на стороне клиента. Обычный краулер видит пустую HTML-страницу без контента — именно так её видит поисковый робот, если у него нет JS-рендеринга.

В платной версии: Configuration → Spider → Rendering → выберите JavaScript. Программа использует встроенный браузер Chromium для рендеринга страниц перед анализом.

Важно: JS-рендеринг значительно замедляет сканирование. Используйте его только когда это действительно нужно — для SPA или страниц с динамически загружаемым контентом.

Частые ошибки при работе со Screaming Frog

• Сканируют сайт без настройки User Agent. По умолчанию программа представляется как Screaming Frog. Если нужно проверить, как сайт выглядит для Googlebot — смените User Agent в Configuration → User-Agent на Googlebot. Это важно для проверки cloaking и корректности robots.txt.
• Забывают про robots.txt. По умолчанию Screaming Frog соблюдает правила robots.txt. Если нужно проверить страницы, закрытые для роботов — отключите это в Configuration → Spider → Crawl disallowed URLs. Но помните: это не значит, что такие страницы должны быть в индексе.
• Не выделяют достаточно памяти. При сканировании сайтов с десятками тысяч страниц программа может тормозить или падать. Решение: меню Screaming Frog → Preferences → Memory Allocation — увеличьте значение до 1–2 ГБ в зависимости от доступной RAM.
• Смотрят на все данные сразу. 50 000 URL в таблице — это не аналитика, это хаос. Всегда работайте с конкретным фильтром и конкретной задачей. Аудит по шагам: сначала критические ошибки (4xx, 5xx), потом редиректы, потом метатеги, потом контент.
• Не сохраняют результаты. В бесплатной версии сохранение недоступно, но в платной — обязательно сохраняйте краулинг через File → Save. Это позволяет сравнивать результаты до и после работ через меню Reports → Compare Crawls.

Альтернативы Screaming Frog

Screaming Frog — лучший в классе, но не единственный вариант. Иногда нужна альтернатива — из-за цены, платформы или специфики задачи.

• Sitebulb — ближайший конкурент. Более визуальный интерфейс, лучше подходит для презентации данных клиентам. Чуть дороже, Windows и Mac.
• Netpeak Spider — российский аналог, есть локализация. Хорошо подходит для начинающих: интерфейс проще, подсказки на русском.
• Ahrefs Site Audit — облачный краулер в составе платформы Ahrefs. Не требует установки, но нужна подписка на Ahrefs. Удобен для тех, кто уже использует эту платформу.
• Semrush Site Audit — аналогично, облачный инструмент в составе Semrush. Хорошо интегрирован с остальными инструментами платформы.
• OnCrawl — облачный краулер с акцентом на логи сервера и сегментацию данных. Больше подходит для крупных проектов с нестандартными задачами анализа.

Для большинства SEO-специалистов Screaming Frog остаётся основным инструментом — из-за скорости, глубины данных и гибкости настройки. Остальные инструменты используются как дополнение или замена в конкретных сценариях.

Итог

Screaming Frog SEO Spider — незаменимый инструмент для технического аудита. Бесплатная версия закрывает базовые задачи для небольших сайтов. Платная — даёт полный арсенал для профессиональной работы.

Логика работы простая: запустили краулинг → открыли вкладку с нужным типом данных → применили фильтр → экспортировали список проблем → устранили. Повторить после внесения правок.

Если нужна помощь с техническим аудитом сайта или интерпретацией данных — обращайтесь.

Заказать технический SEO-аудит →