ウェブサイトクロール

概要

ウェブサイトクローラーは、ウェブサイトの複数のページからコンテンツを自動的に検出・抽出します。ページを1つずつ追加する代わりに、サイト全体（または特定のセクション）をクロールし、すべてのコンテンツをAIのナレッジベースに自動的に追加できます。

クローラーはリンクをたどってページを検出し、テキストコンテンツを抽出し、すべてを処理してAIがウェブサイトに関する質問に回答できるようにします。

自動コンテンツエンリッチメント

お使いのウェブサイトがWordPress、Shopify、WooCommerce、Drupal、Squarespace、Strapiなどの人気のあるプラットフォームで構築されている場合、クローラーは通常のページと一緒に追加の構造化コンテンツを自動的に取り込みます — 商品カタログ全体、ブログ記事、カテゴリー、リストなど。

何も設定する必要はありません。お使いのウェブサイトがサポートされているプラットフォームで構築されている場合、AIは自動的に豊富で整理された知識を取得します。

クロールモード

ニーズに応じて2つのクロールモードから選択できます：

サブドメインまたは特定のセクションのクロール

デフォルトでは、自動クロールはウェブサイトのホームページから開始されます。必要なコンテンツがサブドメイン（ヘルプセンター、ドキュメントサイト、ブログなど）にある場合は、代わりにクローラーをそこに向けることができます。

1. 自動モードで、特定のサブドメインまたはURLをクロールのトグルをオンにします
2. 開始URLを入力します — 例: https://help.yoursite.com
3. クロールを開始をクリックします — クローラーはそのサブドメインまたはセクション内のリンクをたどります

プランごとのクロール上限

クロールできるページの最大数はプランによって異なります：

パスワード保護ページ Starter+

ログインが必要なページをクロールする必要がありますか？「パスワード保護ページ」オプションを有効にして、会員限定コンテンツ、ダッシュボード、またはウェブサイトのパスワード保護されたエリアをクロールできます。

使用方法

1. クロールページで「パスワード保護ページ」トグルを有効にしてください
2. ログインページURLを入力します（例：yoursite.com/login）
3. ユーザー名/メールとパスワードを入力します
4. クロールを開始をクリック - システムが最初にログインし、保護されたページをクロールします

仕組み

パスワード保護を有効にすると、クローラーは：

1. ログインページにアクセスし、フォームフィールドを自動的に検出します
2. 資格情報を送信します（CSRFトークンを含む）
3. クロール中に認証済みセッションを維持します
4. ログイン後にリダイレクトされたページから開始します（例：ダッシュボード）
5. 見つけたすべての保護されたページを検出・クロールします

上級者向け：カスタムフィールド名

ログインフォームが標準以外のフィールド名を使用している場合は、「詳細」セクションを展開して以下を指定してください：

• ユーザー名フィールド名 - ユーザー名/メールのフォームフィールド名（例：user_email）
• パスワードフィールド名 - パスワードのフォームフィールド名（例：user_pass）

ベストプラクティス

クロール前

• ウェブサイトにアクセス可能で、ページが正しく読み込まれることを確認してください
• 重要なページがホームページまたはサイトマップからリンクされていることを確認してください
• パスワード保護されたクロールについては、資格情報が機能することを確認してください

ページの選択

• 最も重要なページから始めてください - 商品ページ、FAQ、サービス
• 特定のページのみが必要な場合は手動モードを使用してください
• 古いまたは不正確な情報を含むページのクロールは避けてください

クロール後

• ナレッジベースでクロールされたコンテンツを確認してください
• 取得された不要なページを削除してください
• クロールしたコンテンツについてAIに質問してテストしてください
• 定期的に再クロールしてコンテンツを最新の状態に保ちましょう

クロール済みページの管理

After a crawl completes, you can preview and manage individual pages from the Knowledge Base section on your Dashboard.

ページコンテンツのプレビュー

1. ダッシュボードを開き、ナレッジベースセクションを開いてください
2. クロール項目をクリックして開くと、すべてのクロール済みページの一覧が表示されます
3. ページタイトルをクリックして抽出されたコンテンツをプレビューできます
4. ページ一覧に戻るボタンを使用してページ一覧に戻ります

個別ページの編集 Starter+

クロール済みページの抽出コンテンツを編集できます。書式の問題の修正、不要なセクションの削除、不足している情報の追加に便利です。

1. クロール項目を開き、ページタイトルをクリックしてコンテンツを表示します
2. プレビューの上部にある編集ボタンをクリックします
3. 必要に応じてタイトルやコンテンツを変更します
4. 保存して再エンベッドをクリックします。ページのAIエンベディングが更新されたコンテンツで再生成されます

個別ページの再クロール Starter+

ウェブサイトのページが更新された場合、ウェブサイト全体を再クロールすることなく、そのページだけを再クロールできます。

1. ナレッジベースからクロール項目を開きます
2. Click the re-crawl button next to the page you want to update
3. 確認 — ページが再取得され、埋め込みが最新のコンテンツで更新されます

個別ページの削除

クロール全体を削除せずに、特定のページを削除できます。不要なページ、重複ページ、または誤ってクロールされたページの削除に便利です。

1. ナレッジベースからクロール項目を開きます
2. 削除したいページの横にある 削除ボタンをクリックします
3. 削除を確認します。ページとそのエンベディングが完全に削除されます

トラブルシューティング

クロールが予想より少ないページを返す場合

• ページが検出可能なページからリンクされていない可能性があります
• 一部のページがrobots.txtによってブロックされている可能性があります
• Cloudflareやその他のセキュリティサービスがクローラーをブロックしている可能性があります
• コンテンツがサブドメインにある可能性があります — 特定のサブドメインまたはURLをクロールオプションを使用して、クローラーをそこに向けてください
• 解決策：手動モードを使用して正確なURLを指定してください

パスワード保護されたクロールが失敗する場合

• 認証情報が正しいことを確認してください
• ログインにCAPTCHAまたは2FAが使用されていないか確認してください
• 詳細設定でカスタムフィールド名を指定してみてください
• サイトがJavaScriptベースの認証を使用している可能性があります（非対応）

クロールが機能しない場合の代替方法：

• 一時的にページを公開し、クロールしてから保護を再度有効にしてください
• Save the pages as HTML files and upload them via Bulk Upload

コンテンツが不完全に見える場合

• 一部のコンテンツはJavaScript経由で読み込まれている可能性があります（抽出されません）
• コンテンツが画像内にある可能性があります（テキストとして抽出されません）
• 解決方法：テキストまたはPDFアップロードで不足しているコンテンツを手動で追加してください