Сканування сайту

Огляд

Сканер сайту автоматично знаходить та вилучає контент з багатьох сторінок вашого сайту. Замість додавання сторінок одна за одною, ви можете просканувати весь сайт (або окремі розділи), і весь контент буде автоматично додано до бази знань вашого ШІ.

Сканер переходить за посиланнями для виявлення сторінок, вилучає текстовий контент та обробляє все, щоб ваш ШІ міг відповідати на питання про ваш сайт.

Режими сканування

Ви можете обрати один із двох режимів сканування залежно від ваших потреб:

Ліміти сканування за планом

The maximum number of pages you can crawl depends on your plan:

Сторінки, захищені паролем Starter+

Потрібно просканувати сторінки за логіном? Увімкніть опцію "Сторінки, захищені паролем", щоб сканувати контент лише для учасників, панелі керування або будь-які захищені паролем розділи вашого сайту.

Як використовувати

1. Увімкніть перемикач "Сторінки, захищені паролем" на сторінці сканування
2. Введіть URL сторінки входу (наприклад, yoursite.com/login)
3. Введіть ваш Логін/Email та Пароль
4. Натисніть Почати сканування - система спочатку увійде в систему, а потім просканує захищені сторінки

Як це працює

Коли ви вмикаєте захист паролем, сканер:

1. Відвідує вашу сторінку входу та автоматично визначає поля форми
2. Надсилає ваші облікові дані (включаючи будь-які CSRF-токени)
3. Підтримує автентифіковану сесію під час сканування
4. Starts from where you're redirected after login (e.g., your dashboard)
5. Знаходить та сканує всі захищені сторінки, які може знайти

Додатково: Власні назви полів

Якщо ваша форма входу використовує нестандартні назви полів, розгорніть розділ "Додатково" та вкажіть:

• Назва поля логіна - Назва поля форми для логіна/email (наприклад, user_email)
• Назва поля пароля - Назва поля форми для пароля (наприклад, user_pass)

Найкращі практики

Перед скануванням

• Переконайтеся, що ваш сайт доступний та сторінки завантажуються правильно
• Check that important pages are linked from your homepage or sitemap
• For password-protected crawls, verify your credentials work

Вибір сторінок

• Почніть з найважливіших сторінок - сторінки продуктів, FAQ, послуги
• Використовуйте ручний режим, якщо вам потрібні лише конкретні сторінки
• Уникайте сканування сторінок із застарілою або неточною інформацією

Після сканування

• Перегляньте просканований контент у вашій базі знань
• Видаліть будь-які нерелевантні сторінки, які були захоплені
• Протестуйте вашого ШІ запитаннями щодо просканованого контенту
• Періодично повторюйте сканування, щоб контент був актуальним

Управління просканованими сторінками

Після завершення сканування ви можете переглядати та керувати окремими сторінками з розділу "База знань" на вашій Панелі керування.

Попередній перегляд вмісту сторінки

1. Перейдіть на вашу Панель керування та відкрийте розділ База знань
2. Натисніть на елемент сканування, щоб відкрити його — ви побачите список усіх просканованих сторінок
3. Click any page title to preview its extracted content
4. Натисніть кнопку Назад до сторінок, щоб повернутися до списку сторінок

Редагування окремих сторінок Starter+

Ви можете редагувати вилучений контент будь-якої просканованої сторінки. Це корисно для виправлення проблем з форматуванням, видалення нерелевантних розділів або додавання відсутньої інформації.

1. Open the crawl item and click a page title to view its content
2. Click the Edit button at the top of the preview
3. Змініть заголовок або контент за потреби
4. Натисніть Зберегти та перевбудувати — ШІ-вбудовування сторінки буде перегенеровано з оновленим контентом

Повторне сканування окремих сторінок Starter+

Якщо сторінку на вашому вебсайті було оновлено, ви можете повторно просканувати лише цю сторінку без повторного сканування всього вебсайту.

1. Відкрийте елемент сканування з вашої бази знань
2. Click the re-crawl button next to the page you want to update
3. Підтвердити — сторінку буде повторно завантажено та її вбудовування оновлено найновішим контентом

Видалення окремих сторінок

Ви можете видалити конкретні сторінки зі сканування без видалення всього сканування. Це корисно для видалення нерелевантних, дубльованих або неправильно просканованих сторінок.

1. Відкрийте елемент сканування з вашої бази знань
2. Натисніть кнопку видалити поруч зі сторінкою, яку ви хочете видалити
3. Підтвердіть видалення — сторінка та її вбудовування будуть видалені назавжди

Усунення неполадок

Сканування повертає менше сторінок, ніж очікувалося

• Сторінки можуть бути не зв'язані з доступними для виявлення сторінками
• Деякі сторінки можуть бути заблоковані robots.txt
• Cloudflare або інші служби безпеки можуть блокувати сканер
• Solution: Use Manual mode to specify exact URLs

Сканування захищених паролем сторінок не вдається

• Перевірте правильність ваших облікових даних
• Перевірте, чи ваш вхід використовує CAPTCHA або 2FA
• Спробуйте вказати власні назви полів у додаткових налаштуваннях
• Your site might use JavaScript-based authentication (not supported)

Альтернативи, якщо сканування не працює:

• Тимчасово зробіть сторінки публічними, просканируйте їх, потім повторно увімкніть захист
• Збережіть сторінки як HTML-файли та завантажте їх через Масове завантаження

Контент виглядає неповним

• Деякий контент може завантажуватися через JavaScript (не вилучається)
• Контент може бути в зображеннях (не вилучається як текст)
• Рішення: Додайте відсутній контент вручну через завантаження тексту або PDF