Crawlowanie strony

Przegląd

Robot indeksujący automatycznie odkrywa i wyodrębnia treść z wielu stron Twojej witryny. Zamiast dodawać strony pojedynczo, możesz zaindeksować całą witrynę (lub określone sekcję) i automatycznie dodać całą treść do bazy wiedzy Twojej AI.

Robot indeksujący podąża za linkami, aby odkrywać strony, wyodrębnia treść tekstową i przetwarza wszystko, aby Twoja AI mogła odpowiadać na pytania dotyczące Twojej witryny.

Tryby indeksowania

You can choose between two crawl modes depending on your needs:

Limity indeksowania według planu

The maximum number of pages you can crawl depends on your plan:

Strony chronione hasłem Starter+

Potrzebujesz zaindeksować strony za logowaniem? Włącz opcję "Strony chronione hasłem", aby indeksować treści dostępne tylko dla członków, panele kontrolne lub dowolne obszary Twojej witryny chronione hasłem.

Jak używać

1. Włącz przełącznik "Strony chronione hasłem" na stronie indeksowania
2. Wprowadź adres URL strony logowania (np. yoursite.com/login)
3. Wprowadź swoją nazwę użytkownika/e-mail i hasło
4. Kliknij Rozpocznij indeksowanie - system najpierw się zaloguje, a następnie zaindeksuje chronione strony

Jak to działa

Po włączeniu ochrony hasłem robot indeksujący:

1. Visits your login page and detects the form fields automatically
2. Przesyła Twoje dane logowania (w tym tokeny CSRF)
3. Utrzymuje uwierzytelnioną sesję podczas indeksowania
4. Starts from where you're redirected after login (e.g., your dashboard)
5. Odkrywa i indeksuje wszystkie chronione strony, które może znaleźć

Zaawansowane: niestandardowe nazwy pól

Jeśli Twój formularz logowania używa niestandardowych nazw pól, rozwiń sekcję "Zaawansowane" i określ:

• Nazwa pola użytkownika - Nazwa pola formularza dla nazwy użytkownika/e-maila (np. user_email)
• Nazwa pola hasła - Nazwa pola formularza dla hasła (np. user_pass)

Najlepsze praktyki

Przed indeksowaniem

• Make sure your website is accessible and pages load correctly
• Check that important pages are linked from your homepage or sitemap
• For password-protected crawls, verify your credentials work

Wybór stron

• Zacznij od najważniejszych stron - stron produktów, FAQ, usług
• Użyj trybu ręcznego, jeśli potrzebujesz tylko określonych stron
• Avoid crawling pages with outdated or inaccurate information

Po indeksowaniu

• Przejrzyj zaindeksowaną treść w swojej bazie wiedzy
• Usuń wszystkie nieistotne strony, które zostały przechwycone
• Przetestuj swoją AI pytaniami dotyczącymi zaindeksowanej treści
• Okresowo indeksuj ponownie, aby utrzymać treść aktualną

Zarządzanie zaindeksowanymi stronami

Po zakończeniu indeksowania możesz przeglądać i zarządzać poszczególnymi stronami w sekcji Baza wiedzy na swoim Panelu kontrolnym.

Podgląd treści strony

1. Przejdź do swojego Panelu kontrolnego i otwórz sekcję Baza wiedzy
2. Kliknij element indeksowania, aby go otworzyć — zobaczysz listę wszystkich zaindeksowanych stron
3. Click any page title to preview its extracted content
4. Użyj przycisku Powrót do stron, aby wrócić do listy stron

Edycja poszczególnych stron Starter+

Możesz edytować wyodrębnioną treść dowolnej zaindeksowanej strony. Jest to przydatne do naprawiania problemów z formatowaniem, usuwania nieistotnych sekcji lub dodawania brakujących informacji.

1. Open the crawl item and click a page title to view its content
2. Kliknij przycisk Edytuj na górze podglądu
3. Zmodyfikuj tytuł lub treść według potrzeb
4. Kliknij Zapisz i osadź ponownie — osadzenia AI strony zostaną wygenerowane ponownie z zaktualizowaną treścią

Ponowne przeszukiwanie poszczególnych stron Starter+

Jeśli strona na Twojej witrynie została zaktualizowana, możesz ponownie przeszukać tylko tę stronę bez ponownego przeszukiwania całej witryny.

1. Otwórz element indeksowania z Bazy wiedzy
2. Click the re-crawl button next to the page you want to update
3. Potwierdź — strona zostanie ponownie pobrana, a jej osadzenia zaktualizowane najnowszą treścią

Usuwanie poszczególnych stron

Możesz usunąć konkretne strony z indeksowania bez usuwania całego indeksowania. Jest to przydatne do usuwania nieistotnych, zduplikowanych lub nieprawidłowo zaindeksowanych stron.

1. Otwórz element indeksowania z Bazy wiedzy
2. Kliknij przycisk usuń obok strony, którą chcesz usunąć
3. Potwierdź usunięcie — strona i jej osadzenia zostaną trwale usunięte

Rozwiązywanie problemów

Indeksowanie zwraca mniej stron niż oczekiwano

• Strony mogą nie być linkowane z odkrywalnych stron
• Niektóre strony mogą być blokowane przez robots.txt
• Cloudflare or other security services might block the crawler
• Solution: Use Manual mode to specify exact URLs

Indeksowanie stron chronionych hasłem nie powodzi się

• Zweryfikuj, czy Twoje dane logowania są prawidłowe
• Sprawdź, czy Twoje logowanie używa CAPTCHA lub 2FA
• Try specifying custom field names in Advanced settings
• Your site might use JavaScript-based authentication (not supported)

Alternatywy, jeśli indeksowanie nie działa:

• Tymczasowo upublicznij strony, zaindeksuj je, a następnie ponownie włącz ochronę
• Zapisz strony jako pliki HTML i prześlij je przez Przesyłanie zbiorcze

Treść wydaje się niekompletna

• Część treści może być ładowana przez JavaScript (niewyodrębniona)
• Treść może znajdować się w obrazach (niewyodrębniona jako tekst)
• Rozwiązanie: Dodaj brakującą treść ręcznie przez przesyłanie tekstu lub pliku PDF