Website crawlen

Overzicht

De websitecrawler ontdekt en extraheert automatisch inhoud van meerdere pagina's op uw website. In plaats van pagina's één voor één toe te voegen, kunt u uw gehele site (of specifieke secties) crawlen en alle inhoud automatisch aan de kennisbank van uw AI laten toevoegen.

De crawler volgt links om pagina's te ontdekken, extraheert tekstinhoud en verwerkt alles zodat uw AI vragen over uw website kan beantwoorden.

Crawlmodi

U kunt kiezen tussen twee crawlmodi, afhankelijk van uw behoeften:

Crawllimieten per abonnement

The maximum number of pages you can crawl depends on your plan:

Password Protected Pages Starter+

Wilt u pagina's achter een login crawlen? Schakel de optie "Met wachtwoord beveiligde pagina's" in om inhoud alleen voor leden, dashboards of andere met een wachtwoord beveiligde delen van uw website te crawlen.

Gebruiksaanwijzing

1. Schakel de "Met wachtwoord beveiligde pagina's"-schakelaar in op de crawlpagina
2. Voer uw Inlogpagina-URL in (bijv. yoursite.com/login)
3. Voer uw Gebruikersnaam/E-mailadres en Wachtwoord in
4. Klik op Crawlen starten - het systeem logt eerst in en crawlt vervolgens beveiligde pagina's

Hoe het werkt

When you enable password protection, the crawler:

1. Bezoekt uw inlogpagina en detecteert de formuliervelden automatisch
2. Verstuurt uw inloggegevens (inclusief eventuele CSRF-tokens)
3. Behoudt de geauthenticeerde sessie tijdens het crawlen
4. Starts from where you're redirected after login (e.g., your dashboard)
5. Ontdekt en crawlt alle beveiligde pagina's die het kan vinden

Geavanceerd: Aangepaste veldnamen

Als uw inlogformulier niet-standaard veldnamen gebruikt, vouw dan de sectie "Geavanceerd" uit en specificeer:

• Gebruikersnaamveldnaam - De formulierveldnaam voor gebruikersnaam/e-mail (bijv. user_email)
• Wachtwoordveldnaam - De formulierveldnaam voor wachtwoord (bijv. user_pass)

Aanbevolen werkwijzen

Voor het crawlen

• Make sure your website is accessible and pages load correctly
• Check that important pages are linked from your homepage or sitemap
• For password-protected crawls, verify your credentials work

Pagina's kiezen

• Start with your most important pages - product pages, FAQs, services
• Use Manual mode if you only need specific pages
• Vermijd het crawlen van pagina's met verouderde of onjuiste informatie

Na het crawlen

• Bekijk de gecrawlde inhoud in uw kennisbank
• Verwijder eventuele irrelevante pagina's die zijn vastgelegd
• Test uw AI met vragen over de gecrawlde inhoud
• Crawl periodiek opnieuw om de inhoud actueel te houden

Gecrawlde pagina's beheren

Nadat een crawl is voltooid, kunt u individuele pagina's bekijken en beheren vanuit de Kennisbank-sectie op uw Dashboard.

Pagina-inhoud bekijken

1. Ga naar uw Dashboard en open de sectie Kennisbank
2. Klik op een crawl-item om het te openen — u ziet een lijst van alle gecrawlde pagina's
3. Klik op een paginatitel om de geëxtraheerde inhoud te bekijken
4. Gebruik de knop Terug naar pagina's om terug te keren naar de paginalijst

Editing Individual Pages Starter+

U kunt de geëxtraheerde inhoud van elke gecrawlde pagina bewerken. Dit is handig voor het corrigeren van opmaakproblemen, het verwijderen van irrelevante secties of het toevoegen van ontbrekende informatie.

1. Open the crawl item and click a page title to view its content
2. Klik op de knop Bewerken bovenaan de voorvertoning
3. Pas de titel of inhoud aan zoals nodig
4. Klik op Opslaan & Opnieuw insluiten — de AI-embeddings van de pagina worden opnieuw gegenereerd met de bijgewerkte inhoud

Opnieuw crawlen van individuele pagina's Starter+

Als een pagina op uw website is bijgewerkt, kunt u alleen die pagina opnieuw crawlen zonder uw hele website opnieuw te crawlen.

1. Open het crawl-item vanuit uw Kennisbank
2. Click the re-crawl button next to the page you want to update
3. Bevestigen — de pagina wordt opnieuw opgehaald en de inbeddingen worden bijgewerkt met de nieuwste inhoud

Individuele pagina's verwijderen

U kunt specifieke pagina's uit een crawl verwijderen zonder de gehele crawl te verwijderen. Dit is handig voor het verwijderen van irrelevante, dubbele of onjuist gecrawlde pagina's.

1. Open het crawl-item vanuit uw Kennisbank
2. Klik op de knop verwijderen naast de pagina die u wilt verwijderen
3. Bevestig de verwijdering — de pagina en de bijbehorende embeddings worden permanent verwijderd

Probleemoplossing

Crawl levert minder pagina's op dan verwacht

• Pagina's zijn mogelijk niet gelinkt vanaf vindbare pagina's
• Sommige pagina's worden mogelijk geblokkeerd door robots.txt
• Cloudflare or other security services might block the crawler
• Solution: Use Manual mode to specify exact URLs

Met wachtwoord beveiligde crawl mislukt

• Controleer of uw inloggegevens correct zijn
• Controleer of uw inlogpagina CAPTCHA of 2FA gebruikt
• Try specifying custom field names in Advanced settings
• Your site might use JavaScript-based authentication (not supported)

Alternatieven als crawlen niet werkt:

• Maak de pagina's tijdelijk openbaar, crawl ze en schakel de beveiliging vervolgens weer in
• Sla de pagina's op als HTML-bestanden en upload ze via Bulk Upload

Inhoud lijkt onvolledig

• Some content might be loaded via JavaScript (not extracted)
• Inhoud kan zich in afbeeldingen bevinden (niet als tekst geëxtraheerd)
• Oplossing: Voeg ontbrekende inhoud handmatig toe via tekst- of PDF-upload