वेबसाइट क्रॉल
अपनी वेबसाइट पेजों से स्वचालित रूप से सामग्री निकालें
अवलोकन
वेबसाइट क्रॉलर स्वचालित रूप से आपकी वेबसाइट के कई पेजों से सामग्री खोजता और निकालता है। एक-एक करके पेज जोड़ने के बजाय, आप अपनी पूरी साइट (या विशिष्ट अनुभागों) को क्रॉल कर सकते हैं और सभी सामग्री स्वचालित रूप से अपने AI के ज्ञान आधार में जोड़ सकते हैं।
क्रॉलर पेज खोजने के लिए लिंक का अनुसरण करता है, टेक्स्ट सामग्री निकालता है, और सब कुछ प्रोसेस करता है ताकि आपका AI आपकी वेबसाइट के बारे में प्रश्नों का उत्तर दे सके।
स्वचालित सामग्री संवर्धन
यदि आपकी वेबसाइट WordPress, Shopify, WooCommerce, Drupal, Squarespace या Strapi जैसे लोकप्रिय प्लेटफ़ॉर्म पर बनी है, तो क्रॉलर सामान्य पृष्ठों के साथ-साथ स्वचालित रूप से अतिरिक्त संरचित सामग्री खींचता है — जैसे आपका संपूर्ण उत्पाद कैटलॉग, ब्लॉग पोस्ट, श्रेणियां और लिस्टिंग।
आपको कुछ भी कॉन्फ़िगर करने की आवश्यकता नहीं है। यदि आपकी वेबसाइट समर्थित प्लेटफ़ॉर्म पर बनी है, तो आपके AI को स्वचालित रूप से समृद्ध और बेहतर-संगठित ज्ञान मिलता है।
क्रॉल मोड
आप अपनी आवश्यकताओं के अनुसार दो क्रॉल मोड में से चुन सकते हैं:
स्वचालित मोड
क्रॉलर आपके होमपेज से शुरू होता है और लिंक का अनुसरण करके स्वचालित रूप से पेज खोजता है। यदि उपलब्ध हो तो यह आपकी sitemap.xml भी जांचता है। आपकी पूरी वेबसाइट या उसके बड़े अनुभागों को क्रॉल करने के लिए सर्वश्रेष्ठ।
सभी प्लानमैन्युअल मोड
आप क्रॉल करने के लिए सटीक URL निर्दिष्ट करते हैं (अल्पविराम से अलग)। क्रॉलर केवल उन विशिष्ट पेजों पर जाता है। जब आप केवल कुछ पेज अपने ज्ञान आधार में जोड़ना चाहते हैं तो सर्वश्रेष्ठ।
Starter+सुझाव: यदि आप मैनुअल मोड में एक ही URL दर्ज करते हैं, तो हम पूछेंगे कि क्या आप केवल उस पेज को क्रॉल करना चाहते हैं या उसके लिंक का अनुसरण करके पूरी साइट को क्रॉल करना चाहते हैं — ताकि आप गलती से केवल एक पेज को अनुक्रमित न करें।
किसी सबडोमेन या विशिष्ट अनुभाग को क्रॉल करना
डिफ़ॉल्ट रूप से, एक स्वचालित क्रॉल आपकी वेबसाइट के मुखपृष्ठ से शुरू होता है। यदि आपकी इच्छित सामग्री किसी सबडोमेन पर है — जैसे सहायता केंद्र, दस्तावेज़ीकरण साइट या ब्लॉग — तो आप क्रॉलर को इसके बजाय वहां निर्देशित कर सकते हैं।
- स्वचालित मोड में, एक विशिष्ट सबडोमेन या URL क्रॉल करें टॉगल चालू करें
- प्रारंभिक URL दर्ज करें — उदाहरण के लिए
https://help.yoursite.com - क्रॉलिंग शुरू करें पर क्लिक करें — क्रॉलर उस सबडोमेन या अनुभाग के भीतर लिंक का अनुसरण करता है
नोट: प्रारंभिक URL चयनित वेबसाइट से संबंधित होना चाहिए — या तो वही डोमेन या उसके किसी सबडोमेन में से एक।
प्लान अनुसार क्रॉल सीमाएँ
आप अधिकतम कितने पेज क्रॉल कर सकते हैं यह आपके प्लान पर निर्भर करता है:
| प्लान | अधिकतम पेज | मैन्युअल मोड | पासवर्ड सुरक्षित |
|---|---|---|---|
| फ्री | 50 पेज | ||
| Starter | 250 पेज | ||
| Standard | 1,000 पेज | ||
| Pro | 5,000 पेज |
पासवर्ड सुरक्षित पेज Starter+
लॉगिन के पीछे के पेज क्रॉल करने की आवश्यकता है? सदस्यों-केवल सामग्री, डैशबोर्ड, या आपकी वेबसाइट के किसी भी पासवर्ड-सुरक्षित क्षेत्र को क्रॉल करने के लिए "पासवर्ड सुरक्षित पेज" विकल्प सक्षम करें।
कैसे उपयोग करें
- क्रॉल पेज पर "पासवर्ड सुरक्षित पेज" टॉगल सक्षम करें
- अपना लॉगिन पेज URL दर्ज करें (उदा.,
yoursite.com/login) - अपना उपयोगकर्ता नाम/ईमेल और पासवर्ड दर्ज करें
- क्रॉलिंग शुरू करें पर क्लिक करें - सिस्टम पहले लॉग इन करेगा, फिर सुरक्षित पेज क्रॉल करेगा
यह कैसे काम करता है
जब आप पासवर्ड सुरक्षा सक्षम करते हैं, तो क्रॉलर:
- आपके लॉगिन पेज पर जाता है और फ़ॉर्म फ़ील्ड को स्वचालित रूप से पहचानता है
- आपके क्रेडेंशियल सबमिट करता है (किसी भी CSRF टोकन सहित)
- क्रॉलिंग के दौरान प्रमाणित सत्र बनाए रखता है
- लॉगिन के बाद जहाँ आपको रीडायरेक्ट किया जाता है वहाँ से शुरू होता है (जैसे, आपका डैशबोर्ड)
- सभी सुरक्षित पेजों को खोजता और क्रॉल करता है जो उसे मिल सकते हैं
सुझाव: क्रॉलर स्वचालित रूप से फॉर्म फील्ड (ईमेल, उपयोगकर्ता नाम, पासवर्ड) और सुरक्षा टोकन का पता लगाता है, इसलिए यह अतिरिक्त कॉन्फ़िगरेशन के बिना अधिकांश लॉगिन फॉर्म के साथ काम करता है।
उन्नत: कस्टम फील्ड नाम
यदि आपका लॉगिन फॉर्म गैर-मानक फील्ड नामों का उपयोग करता है, तो "उन्नत" अनुभाग विस्तारित करें और निर्दिष्ट करें:
- उपयोगकर्ता नाम फील्ड नाम - उपयोगकर्ता नाम/ईमेल के लिए फॉर्म फील्ड नाम (उदा.,
user_email) - पासवर्ड फील्ड नाम - पासवर्ड के लिए फॉर्म फील्ड नाम (उदा.,
user_pass)
सीमाएँ: पासवर्ड सुरक्षित क्रॉलिंग मानक HTML लॉगिन फॉर्म के साथ काम करती है। यह इनके साथ काम नहीं कर सकती:
- JavaScript-आधारित लॉगिन (React, Vue, Angular सिंगल-पेज ऐप्स)
- CAPTCHA या reCAPTCHA सुरक्षित लॉगिन
- दो-कारक प्रमाणीकरण (2FA)
- OAuth लॉगिन (Google, Facebook, आदि)
- बहु-चरण लॉगिन प्रवाह
सुझाव: अपने व्यक्तिगत खाते का उपयोग करने के बजाय, विशेष रूप से क्रॉलिंग के लिए एक समर्पित खाता बनाने पर विचार करें। यह आपको ठीक से नियंत्रित करने देता है कि क्रॉलर क्या एक्सेस कर सकता है।
सर्वोत्तम प्रथाएँ
क्रॉलिंग से पहले
- सुनिश्चित करें कि आपकी वेबसाइट सुलभ है और पेज सही ढंग से लोड होते हैं
- जाँचें कि महत्वपूर्ण पेज आपके होमपेज या साइटमैप से लिंक हैं
- पासवर्ड-सुरक्षित क्रॉल के लिए, सत्यापित करें कि आपके क्रेडेंशियल काम करते हैं
पेज चुनना
- अपने सबसे महत्वपूर्ण पेजों से शुरू करें - उत्पाद पेज, FAQs, सेवाएँ
- यदि आपको केवल विशिष्ट पेज चाहिए तो मैन्युअल मोड का उपयोग करें
- पुरानी या गलत जानकारी वाले पेजों को क्रॉल करने से बचें
क्रॉलिंग के बाद
- अपने ज्ञान आधार में क्रॉल की गई सामग्री की समीक्षा करें
- कैप्चर किए गए किसी भी अप्रासंगिक पेज को हटाएं
- क्रॉल की गई सामग्री के बारे में प्रश्नों के साथ अपने AI का परीक्षण करें
- सामग्री को अद्यतित रखने के लिए समय-समय पर पुनः क्रॉल करें
नोट: प्रत्येक नया क्रॉल उस वेबसाइट के पिछले को प्रतिस्थापित करता है। आपका AI हमेशा सबसे हाल में क्रॉल की गई सामग्री का उपयोग करेगा।
क्रॉल किए गए पेजों का प्रबंधन
After a crawl completes, you can preview and manage individual pages from the Knowledge Base section on your Dashboard.
पेज सामग्री का प्रीव्यू
- अपने डैशबोर्ड पर जाएं और ज्ञान आधार अनुभाग खोलें
- इसे खोलने के लिए क्रॉल आइटम पर क्लिक करें — आपको सभी क्रॉल किए गए पेजों की सूची दिखाई देगी
- निकाली गई सामग्री का पूर्वावलोकन करने के लिए किसी भी पेज शीर्षक पर क्लिक करें
- पेज सूची पर लौटने के लिए पेजों पर वापस जाएं बटन का उपयोग करें
सुझाव: पेजों का प्रीव्यू करना यह सत्यापित करने का एक शानदार तरीका है कि क्रॉलर ने सही सामग्री निकाली। यदि कोई पेज गलत दिखता है, तो आप इसे सीधे संपादित कर सकते हैं या इसे हटा सकते हैं और इसके बजाय सामग्री मैन्युअल रूप से जोड़ सकते हैं।
व्यक्तिगत पेज संपादित करना Starter+
आप किसी भी क्रॉल किए गए पेज की निकाली गई सामग्री को संपादित कर सकते हैं। यह फॉर्मेटिंग समस्याओं को ठीक करने, अप्रासंगिक अनुभागों को हटाने, या अनुपस्थित जानकारी जोड़ने के लिए उपयोगी है।
- क्रॉल आइटम खोलें और सामग्री देखने के लिए पेज शीर्षक पर क्लिक करें
- प्रीव्यू के शीर्ष पर Edit बटन पर क्लिक करें
- आवश्यकतानुसार शीर्षक या सामग्री संशोधित करें
- सेव करें और री-एम्बेड करें पर क्लिक करें — अपडेट की गई सामग्री के साथ पेज की AI एम्बेडिंग पुनः उत्पन्न होगी
नोट: पेज संपादित करने से केवल वह विशिष्ट पेज री-एम्बेड होता है, पूरा क्रॉल नहीं। आपके अन्य क्रॉल किए गए पेज अप्रभावित रहते हैं।
व्यक्तिगत पृष्ठों को पुनः क्रॉल करना Starter+
यदि आपकी वेबसाइट पर कोई पृष्ठ अपडेट किया गया है, तो आप अपनी पूरी वेबसाइट को पुनः क्रॉल किए बिना केवल उस पृष्ठ को पुनः क्रॉल कर सकते हैं।
- अपने ज्ञान आधार से क्रॉल आइटम खोलें
- Click the re-crawl button next to the page you want to update
- पुष्टि करें — पृष्ठ पुनः प्राप्त किया जाएगा और नवीनतम सामग्री के साथ इसकी एम्बेडिंग अपडेट की जाएगी
सुझाव: सामग्री परिवर्तनों के बाद सैकड़ों पृष्ठों को पुनः क्रॉल किए बिना, व्यक्तिगत पृष्ठों को अपडेट रखने के लिए यह बढ़िया है।
व्यक्तिगत पेज हटाना
आप पूरे क्रॉल को हटाए बिना क्रॉल से विशिष्ट पेज हटा सकते हैं। यह अप्रासंगिक, डुप्लिकेट, या गलत तरीके से क्रॉल किए गए पेजों को हटाने के लिए उपयोगी है।
- अपने ज्ञान आधार से क्रॉल आइटम खोलें
- जिस पेज को आप हटाना चाहते हैं उसके बगल में delete बटन पर क्लिक करें
- हटाने की पुष्टि करें — पेज और उसकी एम्बेडिंग स्थायी रूप से हटा दी जाएंगी
नोट: यदि आप क्रॉल से सभी पेज हटा देते हैं, तो संपूर्ण क्रॉल प्रविष्टि स्वचालित रूप से आपके ज्ञान आधार से हटा दी जाएगी।
समस्या निवारण
क्रॉल अपेक्षा से कम पेज लौटाता है
- पेज खोजने योग्य पेजों से जुड़े नहीं हो सकते
- कुछ पेज robots.txt द्वारा अवरुद्ध हो सकते हैं
- Cloudflare या अन्य सुरक्षा सेवाएं क्रॉलर को अवरुद्ध कर सकती हैं
- आपकी सामग्री किसी सबडोमेन पर हो सकती है — क्रॉलर को वहां निर्देशित करने के लिए एक विशिष्ट सबडोमेन या URL क्रॉल करें विकल्प का उपयोग करें
- समाधान: सटीक URL निर्दिष्ट करने के लिए Manual मोड का उपयोग करें
पासवर्ड सुरक्षित क्रॉल विफल होता है
- सत्यापित करें कि आपके क्रेडेंशियल्स सही हैं
- जांचें कि क्या आपका लॉगिन CAPTCHA या 2FA का उपयोग करता है
- उन्नत सेटिंग्स में कस्टम फील्ड नाम निर्दिष्ट करने का प्रयास करें
- आपकी साइट JavaScript-आधारित प्रमाणीकरण का उपयोग कर सकती है (समर्थित नहीं)
यदि क्रॉलिंग काम नहीं करती तो विकल्प:
- अस्थायी रूप से पेजों को सार्वजनिक करें, उन्हें क्रॉल करें, फिर सुरक्षा पुनः सक्षम करें
- Save the pages as HTML files and upload them via Bulk Upload
सामग्री अपूर्ण दिखाई देती है
- कुछ सामग्री JavaScript के माध्यम से लोड हो सकती है (निकाली नहीं गई)
- सामग्री इमेज में हो सकती है (टेक्स्ट के रूप में निकाली नहीं गई)
- समाधान: टेक्स्ट या PDF अपलोड के माध्यम से अनुपस्थित सामग्री मैन्युअल रूप से जोड़ें