Сканирование сайта

Обзор

Краулер сайта автоматически обнаруживает и извлекает содержимое с нескольких страниц вашего сайта. Вместо того чтобы добавлять страницы по одной, вы можете обойти весь сайт (или отдельные разделы) и автоматически добавить всё содержимое в базу знаний ИИ.

Краулер переходит по ссылкам для обнаружения страниц, извлекает текстовое содержимое и обрабатывает всё, чтобы ваш ИИ мог отвечать на вопросы о вашем сайте.

Автоматическое обогащение контента

Если ваш сайт построен на популярной платформе, такой как WordPress, Shopify, WooCommerce, Drupal, Squarespace или Strapi, сканер автоматически подтягивает дополнительный структурированный контент наряду с обычными страницами — например, весь ваш каталог товаров, посты блога, категории и списки.

Вам не нужно ничего настраивать. Если ваш сайт построен на поддерживаемой платформе, ваш ИИ автоматически получает более богатые и лучше организованные знания.

Режимы сканирования

Вы можете выбрать один из двух режимов сканирования в зависимости от ваших потребностей:

Лимиты сканирования по тарифам

Максимальное количество страниц, которые вы можете просканировать, зависит от вашего тарифа:

Страницы, защищённые паролем Starter+

Нужно обойти страницы за авторизацией? Включите опцию «Страницы с паролем», чтобы сканировать закрытый контент, панели управления и другие защищённые разделы сайта.

Как использовать

1. Включите переключатель «Страницы с паролем» на странице сканирования
2. Введите URL страницы входа (например, yoursite.com/login)
3. Введите ваш Username/Email и Password
4. Нажмите Начать сканирование — система сначала выполнит вход, затем просканирует защищённые страницы

Как это работает

Когда вы включаете защиту паролем, сканер:

1. Посещает вашу страницу входа и автоматически определяет поля формы
2. Отправляет ваши учётные данные (включая CSRF-токены)
3. Поддерживает авторизованную сессию во время обхода
4. Начинает со страницы, на которую вас перенаправляет после входа (например, ваша панель управления)
5. Находит и сканирует все защищённые страницы, которые может найти

Дополнительно: имена пользовательских полей

Если ваша форма входа использует нестандартные названия полей, раскройте раздел «Дополнительно» и укажите их.

• Название поля имени пользователя — имя поля формы для имени пользователя/e-mail (например, user_email)
• Название поля пароля — имя поля формы для пароля (например, user_pass)

Лучшие практики

Перед сканированием

• Убедитесь, что ваш сайт доступен и страницы загружаются корректно
• Убедитесь, что важные страницы доступны по ссылкам с главной страницы или из карты сайта
• Для сканирования с защитой паролем проверьте работоспособность ваших учетных данных

Выбор страниц

• Начните с наиболее важных страниц — страниц товаров, FAQ, услуг
• Используйте ручной режим, если нужны только определённые страницы
• Избегайте сканирования страниц с устаревшей или неточной информацией

После сканирования

• Проверьте обработанный контент в вашей базе знаний
• Удалите все нерелевантные страницы, которые были захвачены
• Протестируйте ИИ с вопросами о сканированном контенте
• Периодически повторяйте сканирование, чтобы контент оставался актуальным

Управление проиндексированными страницами

После завершения сканирования вы можете просматривать и управлять отдельными страницами в разделе «База знаний» на вашей Панели управления.

Предпросмотр содержимого страницы

1. Перейдите в панель управления и откройте раздел База знаний
2. Нажмите на элемент обхода, чтобы открыть его — вы увидите список всех просканированных страниц
3. Нажмите на заголовок любой страницы для предпросмотра извлечённого контента
4. Используйте кнопку Назад к страницам для возврата к списку страниц

Редактирование отдельных страниц Starter+

Вы можете редактировать извлечённое содержимое любой просканированной страницы. Это полезно для исправления проблем с форматированием, удаления нерелевантных разделов или добавления недостающей информации.

1. Откройте элемент обхода и нажмите на заголовок страницы, чтобы просмотреть её содержимое
2. Нажмите кнопку Редактировать в верхней части предпросмотра
3. При необходимости измените заголовок или содержимое
4. Нажмите Сохранить и повторно внедрить — векторные представления страницы будут заново сгенерированы с обновлённым содержимым

Повторное сканирование отдельных страниц Starter+

Если страница на вашем сайте была обновлена, вы можете повторно просканировать только эту страницу, не сканируя весь сайт заново.

1. Откройте элемент обхода из вашей базы знаний
2. Нажмите кнопку re-crawl рядом со страницей, которую вы хотите обновить
3. Подтвердить — страница будет загружена заново, а её эмбеддинги обновлены актуальным содержимым

Удаление отдельных страниц

Вы можете удалить отдельные страницы из обхода, не удаляя его целиком. Это удобно для исключения нерелевантных, дублирующихся или некорректно обработанных страниц.

1. Откройте элемент обхода из вашей базы знаний
2. Нажмите кнопку delete рядом со страницей, которую вы хотите удалить
3. Подтвердите удаление — страница и её векторные представления будут удалены без возможности восстановления

Устранение неполадок

Сканирование возвращает меньше страниц, чем ожидалось

• Страницы могут не иметь ссылок с обнаруживаемых страниц
• Некоторые страницы могут быть заблокированы файлом robots.txt
• Cloudflare или другие сервисы безопасности могут блокировать сканер
• Решение: Используйте ручной режим для указания точных URL

Обход с защитой паролем завершается неудачей

• Убедитесь в правильности ваших учётных данных
• Проверьте, использует ли вход CAPTCHA или двухфакторную аутентификацию
• Попробуйте указать пользовательские имена полей в дополнительных настройках
• Ваш сайт может использовать авторизацию на базе JavaScript (не поддерживается)

Альтернативы, если сканирование не работает:

• Временно сделайте страницы публичными, выполните краулинг, затем снова включите защиту
• Сохраните страницы как HTML-файлы и загрузите их через Массовую загрузку

Контент кажется неполным

• Часть контента может загружаться через JavaScript (и не извлекаться)
• Контент может быть в изображениях (не извлечён как текст)
• Решение: добавьте недостающий контент вручную через загрузку текста или PDF