Сканирование сайта

Обзор

Краулер сайта автоматически обнаруживает и извлекает содержимое с нескольких страниц вашего сайта. Вместо того чтобы добавлять страницы по одной, вы можете обойти весь сайт (или отдельные разделы) и автоматически добавить всё содержимое в базу знаний ИИ.

Краулер переходит по ссылкам для обнаружения страниц, извлекает текстовое содержимое и обрабатывает всё, чтобы ваш ИИ мог отвечать на вопросы о вашем сайте.

Режимы сканирования

You can choose between two crawl modes depending on your needs:

Лимиты сканирования по тарифам

The maximum number of pages you can crawl depends on your plan:

Страницы, защищённые паролем Starter+

Нужно обойти страницы за авторизацией? Включите опцию «Страницы с паролем», чтобы сканировать закрытый контент, панели управления и другие защищённые разделы сайта.

Как использовать

1. Включите переключатель «Страницы с паролем» на странице сканирования
2. Введите URL страницы входа (например, yoursite.com/login)
3. Введите ваш Username/Email and Password
4. Нажмите Начать сканирование — система сначала выполнит вход, затем просканирует защищённые страницы

Как это работает

Когда вы включаете защиту паролем, сканер:

1. Посещает вашу страницу входа и автоматически определяет поля формы
2. Отправляет ваши учётные данные (включая CSRF-токены)
3. Поддерживает авторизованную сессию во время обхода
4. Starts from where you're redirected after login (e.g., your dashboard)
5. Находит и сканирует все защищённые страницы, которые может найти

Расширенные: имена пользовательских полей

Если ваша форма входа использует нестандартные названия полей, раскройте раздел «Дополнительно» и укажите их.

• Название поля имени пользователя — имя поля формы для имени пользователя/e-mail (например, user_email)
• Название поля пароля — имя поля формы для пароля (например, user_pass)

Лучшие практики

Перед сканированием

• Убедитесь, что ваш сайт доступен и страницы загружаются корректно
• Check that important pages are linked from your homepage or sitemap
• For password-protected crawls, verify your credentials work

Выбор страниц

• Начните с наиболее важных страниц — страниц товаров, FAQ, услуг
• Используйте ручной режим, если нужны только определённые страницы
• Избегайте сканирования страниц с устаревшей или неточной информацией

После сканирования

• Проверьте обработанный контент в вашей базе знаний
• Удалите все нерелевантные страницы, которые были захвачены
• Протестируйте ИИ с вопросами о сканированном контенте
• Re-crawl periodically to keep content up to date

Управление проиндексированными страницами

После завершения сканирования вы можете просматривать и управлять отдельными страницами в разделе «База знаний» на вашей Панели управления.

Предпросмотр содержимого страницы

1. Перейдите в панель управления и откройте раздел База знаний
2. Нажмите на a crawl item to open it — you'll see a list of all crawled pages
3. Нажмите any page title to preview its extracted content
4. Используйте кнопку Назад к страницам для возврата к списку страниц

Editing Individual Pages Starter+

Вы можете редактировать извлечённое содержимое любой просканированной страницы. Это полезно для исправления проблем с форматированием, удаления нерелевантных разделов или добавления недостающей информации.

1. Open the crawl item and click a page title to view its content
2. Нажмите the Edit button at the top of the preview
3. При необходимости измените заголовок или содержимое
4. Нажмите Сохранить и повторно внедрить — векторные представления страницы будут заново сгенерированы с обновлённым содержимым

Повторное сканирование отдельных страниц Starter+

Если страница на вашем сайте была обновлена, вы можете повторно просканировать только эту страницу, не сканируя весь сайт заново.

1. Откройте элемент обхода из вашей базы знаний
2. Click the re-crawl button next to the page you want to update
3. Подтвердить — страница будет загружена заново, а её эмбеддинги обновлены актуальным содержимым

Удаление отдельных страниц

Вы можете удалить отдельные страницы из обхода, не удаляя его целиком. Это удобно для исключения нерелевантных, дублирующихся или некорректно обработанных страниц.

1. Откройте элемент обхода из вашей базы знаний
2. Нажмите the delete button next to the page you want to remove
3. Подтвердите удаление — страница и её векторные представления будут удалены без возможности восстановления

Устранение неполадок

Сканирование возвращает меньше страниц, чем ожидалось

• Страницы могут не иметь ссылок с обнаруживаемых страниц
• Некоторые страницы могут быть заблокированы файлом robots.txt
• Cloudflare или другие сервисы безопасности могут блокировать сканер
• Solution: Use Manual mode to specify exact URLs

Обход с защитой паролем завершается неудачей

• Убедитесь в правильности ваших учётных данных
• Проверьте, использует ли вход CAPTCHA или двухфакторную аутентификацию
• Try specifying custom field names in Advanced settings
• Your site might use JavaScript-based authentication (not supported)

Альтернативы, если сканирование не работает:

• Временно сделайте страницы публичными, выполните краулинг, затем снова включите защиту
• Сохраните страницы как HTML-файлы и загрузите их через Массовую загрузку

Контент кажется неполным

• Часть контента может загружаться через JavaScript (и не извлекаться)
• Контент может быть в изображениях (не извлечён как текст)
• Решение: добавьте недостающий контент вручную через загрузку текста или PDF