Website-Crawl

Übersicht

Der Website-Crawler erkennt und extrahiert automatisch Inhalte von mehreren Seiten Ihrer Website. Anstatt Seiten einzeln hinzuzufügen, können Sie Ihre gesamte Website (oder bestimmte Bereiche) crawlen und alle Inhalte automatisch zur Wissensdatenbank Ihrer KI hinzufügen lassen.

Der Crawler folgt Links, um Seiten zu entdecken, extrahiert Textinhalte und verarbeitet alles, damit Ihre KI Fragen zu Ihrer Website beantworten kann.

Crawl-Modi

Sie können je nach Bedarf zwischen zwei Crawl-Modi wählen:

Crawl-Limits nach Tarif

The maximum number of pages you can crawl depends on your plan:

Passwortgeschützte Seiten Starter+

Müssen Sie Seiten hinter einem Login crawlen? Aktivieren Sie die Option "Passwortgeschützte Seiten", um Inhalte nur für Mitglieder, Dashboards oder passwortgeschützte Bereiche Ihrer Website zu crawlen.

Anleitung

1. Aktivieren Sie den Schalter "Passwortgeschützte Seiten" auf der Crawl-Seite
2. Geben Sie Ihre Login-Seiten-URL ein (z. B. yoursite.com/login)
3. Geben Sie Ihren Benutzernamen/E-Mail und Ihr Passwort ein
4. Klicken Sie auf Crawling starten – das System meldet sich zuerst an und crawlt dann die geschützten Seiten

So funktioniert es

Wenn Sie den Passwortschutz aktivieren, wird der Crawler:

1. Besucht Ihre Login-Seite und erkennt die Formularfelder automatisch
2. Übermittelt Ihre Anmeldedaten (einschließlich aller CSRF-Tokens)
3. Hält die authentifizierte Sitzung während des Crawlings aufrecht
4. Starts from where you're redirected after login (e.g., your dashboard)
5. Discovers and crawls all protected pages it can find

Erweitert: Benutzerdefinierte Feldnamen

Wenn Ihr Login-Formular nicht-standardmäßige Feldnamen verwendet, erweitern Sie den Abschnitt "Erweitert" und geben Sie an:

• Benutzername-Feldname – Der Formularfeldname für Benutzername/E-Mail (z. B. user_email)
• Passwort-Feldname – Der Formularfeldname für das Passwort (z. B. user_pass)

Bewährte Vorgehensweisen

Vor dem Crawling

• Make sure your website is accessible and pages load correctly
• Check that important pages are linked from your homepage or sitemap
• For password-protected crawls, verify your credentials work

Seiten auswählen

• Start with your most important pages - product pages, FAQs, services
• Use Manual mode if you only need specific pages
• Avoid crawling pages with outdated or inaccurate information

Nach dem Crawling

• Überprüfen Sie die gecrawlten Inhalte in Ihrer Wissensdatenbank
• Entfernen Sie alle irrelevanten Seiten, die erfasst wurden
• Testen Sie Ihre KI mit Fragen zu den gecrawlten Inhalten
• Führen Sie regelmäßig neue Crawls durch, um Inhalte aktuell zu halten

Gecrawlte Seiten verwalten

Nach Abschluss eines Crawls können Sie einzelne Seiten im Bereich Wissensdatenbank auf Ihrem Dashboard ansehen und verwalten.

Seiteninhalte in der Vorschau anzeigen

1. Gehen Sie zu Ihrem Dashboard und öffnen Sie den Bereich Wissensdatenbank
2. Klicken Sie auf ein Crawl-Element, um es zu öffnen – Sie sehen eine Liste aller gecrawlten Seiten
3. Click any page title to preview its extracted content
4. Verwenden Sie die Schaltfläche Zurück zu den Seiten, um zur Seitenliste zurückzukehren

Einzelne Seiten bearbeiten Starter+

Sie können den extrahierten Inhalt jeder gecrawlten Seite bearbeiten. Dies ist nützlich, um Formatierungsprobleme zu beheben, irrelevante Abschnitte zu entfernen oder fehlende Informationen hinzuzufügen.

1. Open the crawl item and click a page title to view its content
2. Click the Edit button at the top of the preview
3. Ändern Sie den Titel oder Inhalt nach Bedarf
4. Klicken Sie auf Speichern & Neu einbetten – die KI-Einbettungen der Seite werden mit dem aktualisierten Inhalt neu generiert

Erneutes Crawlen einzelner Seiten Starter+

Wenn eine Seite auf Ihrer Website aktualisiert wurde, können Sie nur diese Seite erneut crawlen, ohne Ihre gesamte Website erneut zu crawlen.

1. Öffnen Sie das Crawl-Element aus Ihrer Wissensdatenbank
2. Click the re-crawl button next to the page you want to update
3. Bestätigen — die Seite wird erneut abgerufen und ihre Einbettungen mit dem neuesten Inhalt aktualisiert

Einzelne Seiten löschen

Sie können bestimmte Seiten aus einem Crawl entfernen, ohne den gesamten Crawl zu löschen. Dies ist nützlich, um irrelevante, doppelte oder fehlerhaft gecrawlte Seiten zu entfernen.

1. Öffnen Sie das Crawl-Element aus Ihrer Wissensdatenbank
2. Klicken Sie auf die Schaltfläche Löschen neben der Seite, die Sie entfernen möchten
3. Bestätigen Sie die Löschung – die Seite und ihre Einbettungen werden dauerhaft entfernt

Fehlerbehebung

Crawl liefert weniger Seiten als erwartet

• Seiten sind möglicherweise nicht von auffindbaren Seiten verlinkt
• Einige Seiten könnten durch robots.txt blockiert sein
• Cloudflare or other security services might block the crawler
• Solution: Use Manual mode to specify exact URLs

Passwortgeschützter Crawl schlägt fehl

• Überprüfen Sie, ob Ihre Anmeldedaten korrekt sind
• Prüfen Sie, ob Ihr Login CAPTCHA oder 2FA verwendet
• Try specifying custom field names in Advanced settings
• Your site might use JavaScript-based authentication (not supported)

Alternativen, wenn das Crawling nicht funktioniert:

• Machen Sie die Seiten vorübergehend öffentlich, crawlen Sie sie und aktivieren Sie dann den Schutz wieder
• Speichern Sie die Seiten als HTML-Dateien und laden Sie sie über Massen-Upload hoch

Inhalt erscheint unvollständig

• Some content might be loaded via JavaScript (not extracted)
• Inhalte könnten in Bildern enthalten sein (nicht als Text extrahiert)
• Lösung: Fehlende Inhalte manuell über Text- oder PDF-Upload hinzufügen