Grįžti į valdymo skydą

Dokumentacija

Sužinokite, kaip naudoti Asyntai

Svetainės nuskaitymas

Automatiškai ištraukite turinį iš savo svetainės puslapių

Pradėti nuskaitymą

Apžvalga

Svetainės nuskaitytuvas automatiškai atranda ir ištraukia turinį iš kelių jūsų svetainės puslapių. Užuot pridėję puslapius po vieną, galite nuskaityti visą savo svetainę (ar konkrečias dalis) ir automatiškai pridėti visą turinį prie savo DI žinių bazės.

Nuskaitytuvas seka nuorodas puslapiams atrasti, ištraukia tekstinį turinį ir viską apdoroja, kad jūsų DI galėtų atsakyti į klausimus apie jūsų svetainę.

Nuskaitymo režimai

You can choose between two crawl modes depending on your needs:

Automatinis režimas

Nuskaitytuvas pradeda nuo jūsų pagrindinio puslapio ir automatiškai atranda puslapius sekdamas nuorodas. Jis taip pat tikrina jūsų sitemap.xml, jei prieinamas. Geriausiai tinka visos svetainės ar didelių jos dalių nuskaitymui.

Visi planai

Rankinis režimas

Jūs nurodote tikslias URL nuskaitymui (atskirtas kableliais). Nuskaitytuvas aplanko tik tuos konkrečius puslapius. Geriausiai tinka, kai norite pridėti tik tam tikrus puslapius prie žinių bazės.

Nuskaitymo limitai pagal planą

The maximum number of pages you can crawl depends on your plan:

Planas Maks. puslapių Rankinis režimas Apsaugota slaptažodžiu
Nemokamas 50 puslapių
Starter 250 puslapių
Standard 1 000 puslapių
Pro 5 000 puslapių

Slaptažodžiu apsaugoti puslapiai

Reikia nuskaityti puslapius už prisijungimo? Įjunkite "Slaptažodžiu apsaugoti puslapiai" parinktį, kad nuskaitytumėte tik nariams skirtą turinį, valdymo skydelius ar bet kurias slaptažodžiu apsaugotas svetainės sritis.

Kaip naudoti

  1. Įjunkite "Slaptažodžiu apsaugoti puslapiai" perjungiklį nuskaitymo puslapyje
  2. Įveskite savo prisijungimo puslapio URL (pvz., jususvetaine.lt/prisijungimas)
  3. Įveskite savo naudotojo vardą/el. paštą ir slaptažodį
  4. Spustelėkite Pradėti nuskaitymą - sistema pirmiausia prisijungs, tada nuskaitys apsaugotus puslapius

Kaip tai veikia

Kai įjungiate slaptažodžio apsaugą, nuskaitytuvas:

  1. Aplanko jūsų prisijungimo puslapį ir automatiškai aptinka formos laukus
  2. Pateikia jūsų kredencialus (įskaitant CSRF žetonus)
  3. Palaiko autentifikuotą sesiją nuskaitymo metu
  4. Starts from where you're redirected after login (e.g., your dashboard)
  5. Atranda ir nuskaito visus apsaugotus puslapius, kuriuos gali rasti

Patarimas: Nuskaitytuvas automatiškai aptinka formos laukus (el. paštą, naudotojo vardą, slaptažodį) ir saugumo žetonus, todėl veikia su dauguma prisijungimo formų be papildomos konfigūracijos.

Išplėstiniai: Pasirinktiniai laukų pavadinimai

Jei jūsų prisijungimo forma naudoja nestandartinius laukų pavadinimus, išskleiskite "Išplėstiniai" skyrių ir nurodykite:

  • Naudotojo vardo lauko pavadinimas - Formos lauko pavadinimas naudotojo vardui/el. paštui (pvz., user_email)
  • Slaptažodžio lauko pavadinimas - Formos lauko pavadinimas slaptažodžiui (pvz., user_pass)

Apribojimai: Slaptažodžiu apsaugotas nuskaitymas veikia su standartinėmis HTML prisijungimo formomis. Gali neveikti su:

  • JavaScript-based logins (React, Vue, Angular single-page apps)
  • CAPTCHA arba reCAPTCHA apsaugotais prisijungimais
  • Dviejų veiksnių autentifikacija (2FA)
  • OAuth prisijungimai (Google, Facebook ir kt.)
  • Kelių žingsnių prisijungimo procesai

Patarimas: Užuot naudoję savo asmeninę paskyrą, apsvarstykite galimybę sukurti specialią paskyrą nuskaitymui. Tai leidžia tiksliai kontroliuoti, ką nuskaitytuvas gali pasiekti.

Geriausi praktikos pavyzdžiai

Prieš nuskaitymą

  • Įsitikinkite, kad jūsų svetainė pasiekiama ir puslapiai tinkamai kraunasi
  • Check that important pages are linked from your homepage or sitemap
  • For password-protected crawls, verify your credentials work

Puslapių pasirinkimas

  • Pradėkite nuo svarbiausių puslapių - produktų puslapių, DUK, paslaugų
  • Naudokite rankinį režimą, jei jums reikia tik konkrečių puslapių
  • Venkite nuskaityti puslapius su pasenusia ar netikslia informacija

Po nuskaitymo

  • Peržiūrėkite nuskaitytą turinį savo žinių bazėje
  • Pašalinkite nerelevantius puslapius, kurie buvo užfiksuoti
  • Testuokite savo DI klausimais apie nuskaitytą turinį
  • Periodiškai nuskaitykite iš naujo, kad turinys būtų aktualus

Pastaba: Kiekvienas naujas nuskaitymas pakeičia ankstesnį tai svetainei. Jūsų DI visada naudos naujausiai nuskaitytą turinį.

Nuskaitytų puslapių valdymas

Po nuskaitymo užbaigimo galite peržiūrėti ir valdyti atskirus puslapius iš žinių bazės skyriaus savo valdymo skydelyje.

Puslapio turinio peržiūra

  1. Eikite į savo valdymo skydelį ir atidarykite žinių bazės skyrių
  2. Spustelėkite nuskaitymo elementą, kad jį atidarytumėte — matysite visų nuskaitytų puslapių sąrašą
  3. Click any page title to preview its extracted content
  4. Naudokite Atgal į puslapius mygtuką, kad grįžtumėte į puslapių sąrašą

Patarimas: Puslapių peržiūra yra puikus būdas patikrinti, ar nuskaitytuvas ištraukė tinkamą turinį. Jei puslapis atrodo neteisingai, galite jį redaguoti tiesiogiai arba ištrinti ir pridėti turinį rankiniu būdu.

Atskirų puslapių redagavimas

Galite redaguoti bet kurio nuskaityto puslapio ištrauktą turinį. Tai naudinga formatavimo problemų taisymui, nerelevantių dalių pašalinimui ar trūkstamos informacijos pridėjimui.

  1. Open the crawl item and click a page title to view its content
  2. Spustelėkite Redaguoti mygtuką peržiūros viršuje
  3. Pakeiskite pavadinimą arba turinį pagal poreikį
  4. Spustelėkite Išsaugoti ir iš naujo įterpti — puslapio DI įterpimai bus pergeneruoti su atnaujintu turiniu

Pastaba: Puslapio redagavimas iš naujo įterpia tik tą konkretų puslapį, ne visą nuskaitymą. Kiti nuskaityti puslapiai nėra paveikiami.

Atskirų puslapių pakartotinis nuskaitymas

Jei jūsų svetainės puslapis buvo atnaujintas, galite iš naujo nuskaityti tik tą puslapį, nenuskaitydami visos svetainės.

  1. Atidarykite nuskaitymo elementą iš savo žinių bazės
  2. Click the re-crawl button next to the page you want to update
  3. Patvirtinti — puslapis bus iš naujo gautas ir jo įterpiniai atnaujinti naujausiu turiniu

Patarimas: Tai puikiai tinka atskirų puslapių atnaujinimui po turinio pakeitimų, nereikiant iš naujo nuskaityti šimtų puslapių.

Atskirų puslapių trynimas

Galite pašalinti konkrečius puslapius iš nuskaitymo neištrindami viso nuskaitymo. Tai naudinga nerelevantių, pasikartojančių ar neteisingai nuskaitytų puslapių pašalinimui.

  1. Atidarykite nuskaitymo elementą iš savo žinių bazės
  2. Spustelėkite trinti mygtuką šalia puslapio, kurį norite pašalinti
  3. Patvirtinkite trynimą — puslapis ir jo įterpimai bus visam laikui pašalinti

Pastaba: Jei ištrinsite visus puslapius iš nuskaitymo, visas nuskaitymo įrašas bus automatiškai pašalintas iš jūsų žinių bazės.

Trikčių šalinimas

Nuskaitymas grąžina mažiau puslapių nei tikėtasi

  • Puslapiai gali būti nesusieti iš atrandamų puslapių
  • Kai kurie puslapiai gali būti užblokuoti robots.txt
  • Cloudflare ar kitos saugumo paslaugos gali blokuoti nuskaitytuvą
  • Sprendimas: Naudokite rankinį režimą tikslių URL nurodymui

Slaptažodžiu apsaugotas nuskaitymas nepavyksta

  • Patikrinkite, ar jūsų kredencialai teisingi
  • Patikrinkite, ar jūsų prisijungimas naudoja CAPTCHA arba 2FA
  • Try specifying custom field names in Advanced settings
  • Your site might use JavaScript-based authentication (not supported)

Alternatyvos, jei nuskaitymas neveikia:

  • Laikinai padarykite puslapius viešus, nuskaitykite juos, tada vėl įjunkite apsaugą
  • Išsaugokite puslapius kaip HTML failus ir įkelkite juos per Masinis įkėlimas

Turinys atrodo neišsamus

  • Dalis turinio gali būti kraunama per JavaScript (neištraukiama)
  • Turinys gali būti vaizduose (neištraukiamas kaip tekstas)
  • Sprendimas: Pridėkite trūkstamą turinį rankiniu būdu per teksto arba PDF įkėlimą