Rastreo del sitio web

Descripción general

El rastreador del sitio web descubre y extrae automáticamente contenido de múltiples páginas de su sitio web. En lugar de añadir páginas una por una, puede rastrear todo su sitio (o secciones específicas) y tener todo el contenido añadido a la base de conocimiento de su IA automáticamente.

El rastreador sigue enlaces para descubrir páginas, extrae contenido de texto y procesa todo para que su IA pueda responder preguntas sobre su sitio web.

Enriquecimiento automático de contenido

Si tu sitio web está construido en una plataforma popular como WordPress, Shopify, WooCommerce, Drupal, Squarespace o Strapi, el rastreador incorpora automáticamente contenido estructurado adicional junto con las páginas normales — como todo tu catálogo de productos, publicaciones del blog, categorías y listados.

No necesitas configurar nada. Si tu sitio está construido en una plataforma compatible, tu IA obtiene conocimiento más rico y mejor organizado automáticamente.

Modos de rastreo

Puede elegir entre dos modos de rastreo según sus necesidades:

Límites de rastreo por plan

El número máximo de páginas que puede rastrear depende de su plan:

Páginas protegidas con contraseña Starter+

¿Necesita rastrear páginas detrás de un inicio de sesión? Active la opción "Páginas protegidas con contraseña" para rastrear contenido solo para miembros, paneles o cualquier área protegida con contraseña de su sitio web.

Cómo usar

1. Active el interruptor "Páginas protegidas con contraseña" en la página de rastreo
2. Ingrese su URL de inicio de sesión (por ejemplo, tusitio.com/login)
3. Ingrese su Usuario/Email y Contraseña
4. Haga clic en Iniciar rastreo - el sistema iniciará sesión primero, luego rastreará las páginas protegidas

Cómo funciona

Cuando activa la protección por contraseña, el rastreador:

1. Visita tu página de inicio de sesión y detecta los campos del formulario automáticamente
2. Envía sus credenciales (incluyendo tokens CSRF)
3. Mantiene la sesión autenticada mientras rastrea
4. Comienza desde donde te redirigen después de iniciar sesión (ej., tu panel de control)
5. Descubre y rastrea todas las páginas protegidas que puede encontrar

Avanzado: Nombres de campos personalizados

Si su formulario de inicio de sesión usa nombres de campos no estándar, expanda la sección \"Avanzado\" y especifique:

• Nombre del campo de usuario - El nombre del campo del formulario para usuario/email (por ejemplo, user_email)
• Nombre del campo de contraseña - El nombre del campo del formulario para contraseña (por ejemplo, user_pass)

Mejores prácticas

Antes de rastrear

• Asegúrate de que tu sitio web sea accesible y las páginas carguen correctamente
• Verifica que las páginas importantes estén enlazadas desde tu página de inicio o mapa del sitio
• Para rastreos con contraseña, verifique que sus credenciales funcionen

Elegir páginas

• Empieza con tus páginas más importantes - páginas de productos, preguntas frecuentes, servicios
• Use el modo Manual si solo necesita páginas específicas
• Evite rastrear páginas con información desactualizada o incorrecta

Después de rastrear

• Revise el contenido rastreado en su base de conocimiento
• Elimine las páginas irrelevantes que se hayan capturado
• Pruebe su IA con preguntas sobre el contenido rastreado
• Vuelve a rastrear periódicamente para mantener el contenido actualizado

Gestión de páginas rastreadas

Después de que se complete un rastreo, puede previsualizar y gestionar páginas individuales desde la sección de Base de conocimiento en su Panel.

Previsualizar contenido de la página

1. Vaya a su Panel y abra la sección Base de conocimiento
2. Haga clic en un elemento rastreado para abrirlo — verá una lista de todas las páginas rastreadas
3. Haz clic en cualquier título de página para previsualizar su contenido extraído
4. Use el botón Volver a páginas para regresar a la lista de páginas

Editar páginas individuales Starter+

Puede editar el contenido extraído de cualquier página rastreada. Esto es útil para corregir problemas de formato, eliminar secciones irrelevantes o añadir información faltante.

1. Abre el elemento de rastreo y haz clic en un título de página para ver su contenido
2. Haz clic en el botón Editar en la parte superior de la vista previa
3. Modifique el título o contenido según sea necesario
4. Haga clic en Guardar y re-embeber — los embeddings de IA de la página se regenerarán con el contenido actualizado

Re-rastreo de páginas individuales Starter+

Si una página de su sitio web ha sido actualizada, puede volver a rastrear solo esa página sin rastrear todo su sitio web.

1. Abra el elemento rastreado desde su Base de conocimiento
2. Haz clic en el botón re-rastrear junto a la página que quieres actualizar
3. Confirmar — la página se volverá a obtener y sus embeddings se actualizarán con el contenido más reciente

Eliminar páginas individuales

Puede eliminar páginas específicas de un rastreo sin eliminar todo el rastreo. Esto es útil para eliminar páginas irrelevantes, duplicadas o rastreadas incorrectamente.

1. Abra el elemento rastreado desde su Base de conocimiento
2. Haga clic en el botón eliminar junto a la página que desea eliminar
3. Confirma la eliminación — la página y sus embeddings se eliminarán permanentemente

Solución de problemas

El rastreo devuelve menos páginas de las esperadas

• Las páginas podrían no estar enlazadas desde páginas descubribles
• Algunas páginas podrían estar bloqueadas por robots.txt
• Cloudflare u otros servicios de seguridad pueden bloquear el rastreador
• Solución: Usa el modo Manual para especificar URLs exactas

El rastreo con contraseña falla

• Verifique que sus credenciales sean correctas
• Compruebe si su inicio de sesión usa CAPTCHA o 2FA
• Intenta especificar nombres de campo personalizados en la configuración avanzada
• Su sitio podría usar autenticación basada en JavaScript (no soportada)

Alternativas si el rastreo no funciona:

• Haga las páginas públicas temporalmente, rastréelas y luego vuelva a activar la protección
• Guarde las páginas como archivos HTML y cárguelas a través de Carga masiva

El contenido aparece incompleto

• Parte del contenido podría cargarse vía JavaScript (no se extrae)
• El contenido podría estar en imágenes (no se extrae como texto)
• Solución: Añada el contenido faltante manualmente a través de carga de Texto o PDF