Exploration du site web

Aperçu

L'explorateur de site web découvre et extrait automatiquement le contenu de plusieurs pages de votre site. Au lieu d'ajouter les pages une par une, vous pouvez explorer l'intégralité de votre site (ou des sections spécifiques) et faire ajouter automatiquement tout le contenu à la base de connaissances de votre IA.

L'explorateur suit les liens pour découvrir des pages, extrait le contenu textuel et traite l'ensemble pour que votre IA puisse répondre aux questions sur votre site web.

Modes d'exploration

Vous pouvez choisir entre deux modes d'exploration selon vos besoins :

Limites d'exploration par forfait

The maximum number of pages you can crawl depends on your plan:

Password Protected Pages Starter+

Besoin d'explorer des pages derrière une connexion ? Activez l'option "Pages protégées par mot de passe" pour explorer le contenu réservé aux membres, les tableaux de bord ou toute zone protégée par mot de passe de votre site web.

Comment utiliser

1. Activez le bouton "Pages protégées par mot de passe" sur la page d'exploration
2. Saisissez l'URL de votre page de connexion (par ex., yoursite.com/login)
3. Saisissez votre nom d'utilisateur/e-mail et votre mot de passe
4. Cliquez sur Start Crawling — le système se connectera d'abord, puis explorera les pages protégées

Comment ça fonctionne

Lorsque vous activez la protection par mot de passe, l'explorateur :

1. Visits your login page and detects the form fields automatically
2. Soumet vos identifiants (y compris les jetons CSRF)
3. Maintient la session authentifiée pendant l'exploration
4. Starts from where you're redirected after login (e.g., your dashboard)
5. Découvre et explore toutes les pages protégées accessibles

Avancé : noms de champs personnalisés

Si votre formulaire de connexion utilise des noms de champs non standard, développez la section "Avancé" et spécifiez :

• Nom du champ identifiant - Le nom du champ de formulaire pour l'identifiant/e-mail (ex. : user_email)
• Nom du champ mot de passe - Le nom du champ de formulaire pour le mot de passe (ex. : user_pass)

Bonnes pratiques

Avant l'exploration

• Make sure your website is accessible and pages load correctly
• Check that important pages are linked from your homepage or sitemap
• For password-protected crawls, verify your credentials work

Choisir les pages

• Start with your most important pages - product pages, FAQs, services
• Utilisez le mode manuel si vous n'avez besoin que de pages spécifiques
• Avoid crawling pages with outdated or inaccurate information

Après l'exploration

• Vérifiez le contenu exploré dans votre base de connaissances
• Supprimez toutes les pages non pertinentes qui ont été capturées
• Testez votre IA avec des questions sur le contenu exploré
• Relancez l'exploration périodiquement pour maintenir le contenu à jour

Gestion des pages explorées

Une fois l'exploration terminée, vous pouvez prévisualiser et gérer les pages individuelles depuis la section Base de connaissances de votre tableau de bord.

Prévisualisation du contenu de la page

1. Accédez à votre Tableau de bord et ouvrez la section Base de connaissances
2. Cliquez sur un élément d'exploration pour l'ouvrir — vous verrez une liste de toutes les pages explorées
3. Click any page title to preview its extracted content
4. Utilisez le bouton Retour aux pages pour revenir à la liste des pages

Editing Individual Pages Starter+

Vous pouvez modifier le contenu extrait de toute page explorée. C'est utile pour corriger les problèmes de mise en forme, supprimer les sections non pertinentes ou ajouter des informations manquantes.

1. Open the crawl item and click a page title to view its content
2. Cliquez sur le bouton Edit en haut de l'aperçu
3. Modifiez le titre ou le contenu selon vos besoins
4. Cliquez sur Save & Re-embed — les embeddings IA de la page seront régénérés avec le contenu mis à jour

Re-crawl de pages individuelles Starter+

Si une page de votre site web a été mise à jour, vous pouvez re-crawler uniquement cette page sans re-crawler l'intégralité de votre site web.

1. Ouvrez l'élément d'exploration depuis votre base de connaissances
2. Click the re-crawl button next to the page you want to update
3. Confirmer — la page sera récupérée à nouveau et ses embeddings mis à jour avec le dernier contenu

Suppression de pages individuelles

Vous pouvez supprimer des pages spécifiques d'une exploration sans supprimer l'exploration entière. C'est utile pour retirer les pages non pertinentes, en double ou mal explorées.

1. Ouvrez l'élément d'exploration depuis votre base de connaissances
2. Cliquez sur le bouton supprimer à côté de la page que vous souhaitez retirer
3. Confirmez la suppression — la page et ses embeddings seront définitivement supprimés

Dépannage

L'exploration renvoie moins de pages que prévu

• Pages might not be linked from discoverable pages
• Certaines pages peuvent être bloquées par le fichier robots.txt
• Cloudflare or other security services might block the crawler
• Solution: Use Manual mode to specify exact URLs

Échec de l'exploration protégée par mot de passe

• Vérifiez que vos identifiants sont corrects
• Vérifiez si votre connexion utilise un CAPTCHA ou la 2FA
• Try specifying custom field names in Advanced settings
• Your site might use JavaScript-based authentication (not supported)

Alternatives si l'exploration ne fonctionne pas :

• Rendez temporairement les pages publiques, explorez-les, puis réactivez la protection
• Enregistrez les pages sous forme de fichiers HTML et téléversez-les via Téléversement groupé

Le contenu semble incomplet

• Certains contenus peuvent être chargés via JavaScript (non extraits)
• Content might be in images (not extracted as text)
• Solution : Ajoutez manuellement le contenu manquant via un texte ou un téléchargement PDF