Сканиране на уебсайт

Преглед

Уеб обходчикът автоматично открива и извлича съдържание от множество страници на вашия уебсайт. Вместо да добавяте страници една по една, можете да обходите целия си сайт (или конкретни секции) и цялото съдържание да бъде автоматично добавено в базата от знания на вашия AI.

Обходчикът следва връзки, за да открива страници, извлича текстово съдържание и обработва всичко, така че вашият AI да може да отговаря на въпроси за вашия уебсайт.

Режими на обхождане

You can choose between two crawl modes depending on your needs:

Лимити за обхождане по план

Максималният брой страници, които можете да обходите, зависи от вашия план:

Страници, защитени с парола Starter+

Нужно ви е да обходите страници зад вход? Активирайте опцията "Страници, защитени с парола", за да обходите съдържание само за членове, табла за управление или други защитени с парола области на вашия уебсайт.

Как да използвате

1. Активирайте превключвателя "Страници, защитени с парола" на страницата за обхождане
2. Въведете вашия URL на страницата за вход (напр. yoursite.com/login)
3. Въведете вашето Потребителско име/Имейл и Парола
4. Натиснете Започнете обхождане - системата първо ще влезе, след което ще обходи защитените страници

Как работи

Когато активирате защита с парола, обходчикът:

1. Visits your login page and detects the form fields automatically
2. Изпраща вашите идентификационни данни (включително всички CSRF токени)
3. Поддържа автентикираната сесия по време на обхождане
4. Starts from where you're redirected after login (e.g., your dashboard)
5. Открива и обхожда всички защитени страници, които може да намери

Разширени: Персонализирани имена на полета

Ако вашият формуляр за вход използва нестандартни имена на полета, разгънете секцията "Разширени" и укажете:

• Име на полето за потребителско име - Името на полето на формуляра за потребителско име/имейл (напр. user_email)
• Име на полето за парола - Името на полето на формуляра за парола (напр. user_pass)

Най-добри практики

Преди обхождане

• Уверете се, че вашият уебсайт е достъпен и страниците се зареждат правилно
• Check that important pages are linked from your homepage or sitemap
• For password-protected crawls, verify your credentials work

Избор на страници

• Започнете с най-важните си страници - продуктови страници, ЧЗВ, услуги
• Използвайте ръчен режим, ако ви трябват само конкретни страници
• Избягвайте обхождане на страници с остаряла или неточна информация

След обхождане

• Прегледайте обходеното съдържание в базата ви от знания
• Премахнете всички неподходящи страници, които са били заснети
• Тествайте вашия AI с въпроси за обходеното съдържание
• Обхождайте периодично, за да поддържате съдържанието актуално

Управление на обходените страници

След като обхождането завърши, можете да преглеждате и управлявате отделни страници от секцията База от знания на вашето Табло за управление.

Преглед на съдържанието на страницата

1. Отидете на вашето Табло за управление и отворете секцията База от знания
2. Натиснете върху елемент от обхождането, за да го отворите — ще видите списък с всички обходени страници
3. Click any page title to preview its extracted content
4. Използвайте бутона Обратно към страниците, за да се върнете към списъка със страници

Редактиране на отделни страници Starter+

Можете да редактирате извлеченото съдържание на всяка обходена страница. Това е полезно за коригиране на проблеми с форматирането, премахване на неподходящи секции или добавяне на липсваща информация.

1. Open the crawl item and click a page title to view its content
2. Натиснете бутона Редактиране в горната част на прегледа
3. Променете заглавието или съдържанието според нуждите
4. Натиснете Запазване и повторно вграждане — AI вгражданията на страницата ще бъдат регенерирани с актуализираното съдържание

Повторно обхождане на отделни страници Starter+

Ако страница на вашия уебсайт е била обновена, можете да обходите отново само тази страница, без да обхождате целия уебсайт.

1. Отворете елемента от обхождането от вашата База от знания
2. Click the re-crawl button next to the page you want to update
3. Потвърдете — страницата ще бъде извлечена отново и нейните вграждания ще бъдат обновени с най-новото съдържание

Изтриване на отделни страници

Можете да премахнете конкретни страници от обхождане, без да изтривате цялото обхождане. Това е полезно за премахване на неподходящи, дублиращи се или неправилно обходени страници.

1. Отворете елемента от обхождането от вашата База от знания
2. Натиснете бутона изтриване до страницата, която искате да премахнете
3. Потвърдете изтриването — страницата и нейните вграждания ще бъдат окончателно премахнати

Отстраняване на проблеми

Обхождането връща по-малко страници от очакваното

• Страниците може да не са свързани от откриваеми страници
• Някои страници може да са блокирани от robots.txt
• Cloudflare или други услуги за сигурност може да блокират обходчика
• Solution: Use Manual mode to specify exact URLs

Обхождането на защитени с парола страници е неуспешно

• Проверете дали идентификационните ви данни са правилни
• Проверете дали входът ви използва CAPTCHA или 2FA
• Опитайте да укажете персонализирани имена на полета в Разширените настройки
• Your site might use JavaScript-based authentication (not supported)

Алтернативи, ако обхождането не работи:

• Временно направете страниците публични, обходете ги, след което отново активирайте защитата
• Запазете страниците като HTML файлове и ги качете чрез Групово качване

Съдържанието изглежда непълно

• Част от съдържанието може да е заредено чрез JavaScript (не е извлечено)
• Съдържанието може да е в изображения (не е извлечено като текст)
• Решение: Добавете липсващото съдържание ръчно чрез качване на текст или PDF