Nettstedgjennomsøking

Oversikt

Nettstedscrawleren oppdager og trekker ut innhold fra flere sider på nettstedet ditt automatisk. I stedet for å legge til sider en etter en, kan du crawle hele nettstedet (eller bestemte deler) og få alt innholdet lagt til i AI-ens kunnskapsbase automatisk.

Crawleren følger lenker for å oppdage sider, trekker ut tekstinnhold og behandler alt slik at AI-en din kan svare på spørsmål om nettstedet ditt.

Automatisk innholdsutvidelse

Hvis nettstedet ditt er bygget på en populær plattform som WordPress, Shopify, WooCommerce, Drupal, Squarespace eller Strapi, henter crawleren automatisk ekstra strukturert innhold ved siden av vanlige sider — for eksempel hele produktkatalogen din, blogginnlegg, kategorier og oppføringer.

Du trenger ikke å konfigurere noe. Hvis nettstedet ditt er bygget på en støttet plattform, får AI-en din automatisk rikere og bedre organisert kunnskap.

Crawlingsmoduser

Du kan velge mellom to crawlingsmoduser avhengig av dine behov:

Crawlingsgrenser per plan

Maksimalt antall sider du kan crawle avhenger av planen din:

Passordbeskyttede sider Starter+

Trenger du å gjennomsøke sider bak en innlogging? Aktiver alternativet «Passordbeskyttede sider» for å gjennomsøke innhold kun for medlemmer, dashbord eller andre passordbeskyttede områder av nettsiden din.

Slik bruker du det

1. Aktiver «Passordbeskyttede sider»-bryteren på gjennomsøkingssiden
2. Skriv inn URL-en til innloggingssiden (f.eks. yoursite.com/login)
3. Skriv inn brukernavn/e-post og passord
4. Klikk Start gjennomsøking – systemet logger inn først, og gjennomsøker deretter beskyttede sider

Slik fungerer det

Når du aktiverer passordbeskyttelse, vil gjennomsøkeren:

1. Besøke innloggingssiden din og oppdage skjemafeltene automatisk
2. Sende inn legitimasjonen din (inkludert eventuelle CSRF-tokener)
3. Opprettholde den autentiserte økten under gjennomsøking
4. Starter fra der du blir videresendt etter innlogging (f.eks. dashbordet ditt)
5. Oppdage og gjennomsøke alle beskyttede sider den finner

Avansert: Egendefinerte feltnavn

Hvis innloggingsskjemaet ditt bruker ikke-standard feltnavn, utvid «Avansert»-seksjonen og spesifiser:

• Feltnavn for brukernavn - Skjemafeltnavnet for brukernavn/e-post (f.eks. user_email)
• Feltnavn for passord - Skjemafeltnavnet for passord (f.eks. user_pass)

Beste praksis

Før gjennomsøking

• Sørg for at nettstedet ditt er tilgjengelig og at sidene lastes riktig
• Sjekk at viktige sider er lenket fra hjemmesiden eller sidekartet ditt
• For passordbeskyttede gjennomsøkinger, bekreft at legitimasjonen din fungerer

Velge sider

• Start med de viktigste sidene dine – produktsider, ofte stilte spørsmål, tjenester
• Bruk manuell modus hvis du bare trenger bestemte sider
• Unngå å gjennomsøke sider med utdatert eller unøyaktig informasjon

Etter gjennomsøking

• Gjennomgå det gjennomsøkte innholdet i kunnskapsbasen din
• Fjern eventuelle irrelevante sider som ble fanget opp
• Test AI-en din med spørsmål om det gjennomsøkte innholdet
• Gjennomsøk på nytt jevnlig for å holde innholdet oppdatert

Administrere gjennomsøkte sider

Etter at en gjennomsøking er fullført, kan du forhåndsvise og administrere individuelle sider fra Kunnskapsbase-seksjonen på Dashbordet ditt.

Forhåndsvise sideinnhold

1. Gå til dashbordet ditt og åpne kunnskapsbase-seksjonen
2. Klikk på et crawlingselement for å åpne det — du ser en liste over alle crawlede sider
3. Klikk på en sidetittel for å forhåndsvise det uttrukne innholdet
4. Bruk Tilbake til sider-knappen for å gå tilbake til sidelisten

Redigering av individuelle sider Starter+

Du kan redigere det uttrukne innholdet på en crawlet side. Dette er nyttig for å fikse formateringsproblemer, fjerne irrelevante seksjoner eller legge til manglende informasjon.

1. Åpne crawlingselementet og klikk på en sidetittel for å se innholdet
2. Klikk på Rediger-knappen øverst i forhåndsvisningen
3. Endre tittelen eller innholdet etter behov
4. Klikk Lagre og re-embed — sidens AI-embeddinger vil bli regenerert med det oppdaterte innholdet

Re-crawling av individuelle sider Starter+

Hvis en side på nettstedet ditt har blitt oppdatert, kan du re-crawle bare den siden uten å re-crawle hele nettstedet.

1. Åpne crawlingselementet fra kunnskapsbasen din
2. Klikk på re-crawl-knappen ved siden av siden du vil oppdatere
3. Bekreft — siden vil bli hentet på nytt og dens innleiringer oppdatert med det nyeste innholdet

Slette individuelle sider

Du kan fjerne spesifikke sider fra en crawling uten å slette hele crawlingen. Dette er nyttig for å fjerne irrelevante, dupliserte eller feilaktig crawlede sider.

1. Åpne crawlingselementet fra kunnskapsbasen din
2. Klikk på slett-knappen ved siden av siden du vil fjerne
3. Bekreft slettingen — siden og dens embeddinger vil bli permanent fjernet

Feilsøking

Crawlingen returnerer færre sider enn forventet

• Sider er kanskje ikke lenket fra oppdagbare sider
• Noen sider kan være blokkert av robots.txt
• Cloudflare eller andre sikkerhetstjenester kan blokkere crawleren
• Løsning: Bruk manuell modus for å angi eksakte URL-er

Passordbeskyttet crawling mislykkes

• Bekreft at legitimasjonen din er korrekt
• Sjekk om innloggingen bruker CAPTCHA eller 2FA
• Prøv å angi egendefinerte feltnavn i Avanserte innstillinger
• Nettstedet ditt bruker kanskje JavaScript-basert autentisering (ikke støttet)

Alternativer hvis crawling ikke fungerer:

• Gjør sidene midlertidig offentlige, crawl dem, og aktiver deretter beskyttelsen igjen
• Lagre sidene som HTML-filer og last dem opp via Masseopplasting

Innholdet virker ufullstendig

• Noe innhold kan være lastet via JavaScript (ikke hentet ut)
• Innhold kan være i bilder (ikke hentet ut som tekst)
• Løsning: Legg til manglende innhold manuelt via tekst- eller PDF-opplasting