झटपट जवाब
कोई प्रीसेट चुनें — जैसे “सर्च और AI सर्च को अनुमति, AI ट्रेनिंग क्रॉलर ब्लॉक करें” — जिन पाथ को क्रॉलर से बाहर रखना है उन्हें एडजस्ट करें (जैसे /admin/ या /cart/), अपना sitemap URL जोड़ें और फ़ाइल डाउनलोड करें। उसे अपनी साइट के रूट पर अपलोड करें ताकि वह yourdomain.com/robots.txt पर मिले। याद रखें: robots.txt एक अनुरोध है जिसे नामी बॉट मानते हैं, सुरक्षा का ताला नहीं।
Robots.txt जनरेटर क्या है?
Robots.txt जनरेटर (Robots.txt जनरेटर) वह छोटी टेक्स्ट फ़ाइल बनाता है जो वेब क्रॉलर को बताती है कि आपकी साइट के किन हिस्सों पर वे जा सकते हैं। हर गंभीर वेबसाइट में यह https://yourdomain.com/robots.txt पर होती है। Google और Bing जैसे सर्च इंजन क्रॉल करने से पहले इसे पढ़ते हैं; वैसे ही AI मॉडल और AI सर्च इंजन के लिए कंटेंट जुटाने वाले क्रॉलर भी। अच्छा robots.txt बॉट को एडमिन एरिया, कार्ट और अंतहीन सर्च-रिज़ल्ट पेजों से दूर रखता है, उन्हें आपके sitemap तक ले जाता है, और — बढ़ते हुए — यह भी बताता है कि AI कंपनियाँ आपका कंटेंट इस्तेमाल कर सकती हैं या नहीं।
फ़ाइल का सिंटैक्स सरल है, लेकिन गलतियाँ महँगी पड़ती हैं: एक गलत स्लैश आपकी पूरी साइट को Google से ब्लॉक कर सकता है। यह मुफ़्त जनरेटर साफ़ विकल्पों से सही फ़ाइल बनाता है। प्रीसेट से शुरू करें, क्रॉलर को दूर रखने वाले पाथ लिखें, अपना sitemap जोड़ें, और हर बॉट के लिए तय करें कि कौन से AI क्रॉलर ब्लॉक करने हैं — जिसमें ट्रेनिंग क्रॉलर, AI सर्च क्रॉलर और यूज़र द्वारा चलाए गए एजेंट का फ़र्क भी शामिल है। फिर नतीजा कॉपी या डाउनलोड करें और अपनी साइट पर अपलोड करें।
मुख्य सुविधाएँ
- पाँच प्रीसेट — सब को अनुमति, AI ट्रेनिंग ब्लॉक, सारे AI ब्लॉक, WordPress, सब कुछ ब्लॉक।
- 14 AI क्रॉलर मालिक और मक़सद के साथ, ट्रेनिंग, AI सर्च या यूज़र एजेंट के रूप में रंग-कोडेड।
- Disallow और Allow पाथ सभी बॉट के लिए, हर लाइन में एक।
- Sitemap लाइन आपके पूरे URL के साथ।
- वैकल्पिक Crawl-delay उन क्रॉलर के लिए जो इसे सपोर्ट करते हैं।
- मानकों के अनुरूप आउटपुट जो RFC 9309 का पालन करता है।
- कॉपी या डाउनलोड करें robots.txt के रूप में।
robots.txt कैसे बनाएँ — स्टेप बाय स्टेप
- प्रीसेट चुनें जो आपके लक्ष्य से मेल खाता हो।
- अपना sitemap URL डालें, जैसे https://example.com/sitemap.xml.
- Disallow सूची एडिट करें — हर लाइन में एक पाथ, जैसे /admin/ या /checkout/।
- Allow अपवाद जोड़ें अगर disallow किए फ़ोल्डर में कुछ ऐसा है जो क्रॉलर को चाहिए।
- AI क्रॉलर टिक करें जिन्हें आप ब्लॉक करना चाहते हैं।
- robots.txt डाउनलोड करें और अपनी साइट के रूट फ़ोल्डर में अपलोड करें (ज़्यादातर होस्ट पर public_html)।
- जाँचें yourdomain.com/robots.txt खोलकर और Google Search Console में टेस्ट करके।
उदाहरण आउटपुट
डिफ़ॉल्ट सेटिंग्स के साथ जनरेटर यह बनाता है:
User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /search?
Sitemap: https://example.com/sitemap.xml
इससे हर क्रॉलर एडमिन एरिया, कार्ट और इंटरनल सर्च रिज़ल्ट URL को छोड़कर पूरी साइट पर जा सकता है, और उन्हें बताया जाता है कि sitemap कहाँ है। “AI ट्रेनिंग क्रॉलर ब्लॉक करें” चुनने पर सामान्य नियमों के ऊपर User-agent: GPTBot, User-agent: ClaudeBot, User-agent: CCBot … जैसा एक ग्रुप जुड़ जाता है, जिसके बाद Disallow: / आता है।
AI क्रॉलर की व्याख्या
| User-agent | कंपनी | टाइप करें |
|---|---|---|
| GPTBot | OpenAI | ट्रेनिंग |
| OAI-SearchBot | OpenAI | AI सर्च (ChatGPT सर्च) |
| ChatGPT-User | OpenAI | यूज़र द्वारा शुरू किए गए फ़ेच |
| Google-Extended | Gemini ट्रेनिंग/ग्राउंडिंग कंट्रोल (Google Search नहीं) | |
| ClaudeBot | Anthropic | ट्रेनिंग |
| Claude-SearchBot | Anthropic | AI सर्च |
| Claude-User | Anthropic | यूज़र द्वारा शुरू किए गए फ़ेच |
| PerplexityBot / Perplexity-User | Perplexity | AI सर्च / यूज़र द्वारा फ़ेच |
| CCBot | Common Crawl | ट्रेनिंग के लिए बड़े पैमाने पर इस्तेमाल होने वाला ओपन डेटासेट |
| Applebot-Extended | Apple | AI ट्रेनिंग कंट्रोल (Siri/Spotlight सर्च नहीं) |
| meta-externalagent | Meta | AI ट्रेनिंग और प्रोडक्ट |
| Bytespider | ByteDance | AI ट्रेनिंग |
| Amazonbot | Amazon | Alexa के जवाब और AI |
कंपनियाँ समय के साथ क्रॉलर जोड़ती और उनके नाम बदलती रहती हैं, इसलिए उनके डॉक्यूमेंटेशन को समय-समय पर देखते रहें। AI सर्च बॉट ब्लॉक करने से आपकी साइट AI जवाबों में हवाले के तौर पर आना बंद हो सकती है, जिससे रेफ़रल ट्रैफ़िक घट सकता है; कई पब्लिशर ट्रेनिंग क्रॉलर ब्लॉक करते हैं पर सर्च बॉट को अनुमति देते हैं।
robots.txt सिंटैक्स संक्षेप में
- User-agent: अगले नियम किस क्रॉलर पर लागू होते हैं; * का मतलब सभी।
- Disallow: वह पाथ प्रीफ़िक्स जिसे क्रॉलर को नहीं लाना चाहिए; खाली मान का मतलब सब कुछ अनुमत।
- Allow: disallow किए गए इलाके के अंदर एक अपवाद।
- Sitemap: XML sitemap का पूरा URL (कहीं भी आ सकता है)।
- वाइल्डकार्ड: * किसी भी अक्षर से मेल खाता है और $ URL का अंत बताता है — /*.pdf$ सभी PDF फ़ाइलों से मेल खाता है।
- सबसे खास मेल जीतता है — Google सबसे लंबा मेल खाता नियम लागू करता है, इसलिए Allow: /wp-admin/admin-ajax.php, Disallow: /wp-admin/ को ओवरराइड करता है।
robots.txt क्या कर सकता है और क्या नहीं
robots.txt एक सार्वजनिक अनुरोध है। Google, Bing और नामी AI कंपनियाँ इसे मानती हैं, पर कोई चीज़ क्रॉलर को मानने पर मजबूर नहीं करती, और कोई भी फ़ाइल पढ़ सकता है — इसलिए वहाँ गोपनीय फ़ोल्डर लिखना उन्हें उजागर भी कर सकता है। यह क्रॉलिंग को कंट्रोल करता है, इंडेक्सिंग को नहीं: अगर दूसरे पेज लिंक करें तो ब्लॉक किया URL भी Google में दिख सकता है। पेज को रिज़ल्ट से बाहर रखने के लिए क्रॉलिंग की अनुमति दें और noindex मेटा टैग जोड़ें (हमारा मेटा टैग जनरेटर उसे बना सकता है)। निजी कंटेंट बचाने के लिए लॉगिन ज़रूरी करें। robots.txt को उसी काम के लिए इस्तेमाल करें जिसमें वह अच्छा है: सलीकेदार क्रॉलर को कम काम के या डुप्लिकेट URL से दूर रखना।
WordPress के लिए robots.txt
WordPress साइटें आमतौर पर /wp-admin/ ब्लॉक करती हैं और /wp-admin/admin-ajax.php की अनुमति देती हैं, जिसे थीम और प्लगइन इस्तेमाल करते हैं, और अक्सर /?s= जैसे इंटरनल सर्च URL भी ब्लॉक करती हैं। WordPress प्रीसेट ये आपके लिए सेट कर देता है। /wp-content/ या /wp-includes/ ब्लॉक न करें — उनमें वह CSS, JavaScript और इमेज होती हैं जो Google को आपके पेज सही रेंडर करने के लिए चाहिए। फ़ाइल को अपनी साइट के रूट पर अपलोड करें, या किसी ऐसे SEO प्लगइन में पेस्ट करें जो robots.txt संभालता है।
AI क्रॉलर की रणनीति चुनना
कोई एक सही जवाब नहीं है — यह इस पर निर्भर है कि आप अपने कंटेंट से कैसे कमाते हैं।
- सब को अनुमति दें — अधिकतम विज़िबिलिटी। आपके पेज ट्रेनिंग में इस्तेमाल हो सकते हैं और AI जवाबों में हवाले के रूप में आ सकते हैं। टूल, प्रोडक्ट पेज और पहुँच चाहने वाले ब्रांड के लिए ठीक।
- ट्रेनिंग ब्लॉक करें, AI सर्च की अनुमति दें — एक लोकप्रिय बीच का रास्ता। robots.txt मानने वाले क्रॉलर आपके कंटेंट पर मॉडल ट्रेन नहीं करते, पर असिस्टेंट अब भी आपको ढूँढकर कोट और लिंक कर सकते हैं, जिससे विज़िटर आ सकते हैं।
- सारे AI क्रॉलर ब्लॉक करें — अधिकतम नियंत्रण, पेड कंटेंट, न्यूज़ आर्काइव और मौलिक रिसर्च के लिए आम। आप AI सर्च से हवाले और रेफ़रल ट्रैफ़िक खो सकते हैं।
आप जो भी चुनें, robots.txt सिर्फ़ उन बॉट की आगे की क्रॉलिंग पर असर डालता है जो इसे मानते हैं; यह पहले से इकट्ठा किया कंटेंट नहीं हटाता। नए क्रॉलर आने पर हर कुछ महीनों में अपना फ़ैसला दोबारा देखें।
robots.txt, sitemap और llms.txt
robots.txt बताता है कि क्रॉलर कहाँ जा सकते हैं; XML sitemap उन पेजों की सूची देता है जिन्हें आप खोजा जाना चाहते हैं। कुछ साइटें अब llms.txt फ़ाइल भी पब्लिश करती हैं — एक प्रस्तावित, अनौपचारिक परंपरा जो AI टूल को साइट के सबसे काम के पेजों का संक्षिप्त Markdown सार देती है। यह कोई आधिकारिक मानक नहीं है और हर AI कंपनी इसे नहीं पढ़ती, पर सही robots.txt और sitemap के साथ इसे जोड़ना नुकसानदेह नहीं है।
आम उपयोग
- नई वेबसाइट या ब्लॉग सेट करना।
- AI मॉडल ट्रेनिंग से बाहर रहते हुए सर्च में दिखते रहना।
- क्रॉलर को कार्ट, चेकआउट, एडमिन और फ़िल्टर URL से दूर रखना।
- स्टेजिंग साइट को पूरी तरह ब्लॉक करना।
- तेज़ खोज के लिए sitemap का रेफ़रेंस जोड़ना।
- आक्रामक क्रॉलर से सर्वर का लोड घटाना।
- ऑनलाइन दुकानों में अंतहीन फ़िल्टर और सॉर्ट URL पर क्रॉलर का समय बर्बाद होने से रोकना।
इन आम गलतियों से बचें
- लाइव साइट पर User-agent: * के नीचे “Disallow: /” — यह Google समेत सब कुछ ब्लॉक कर देता है।
- CSS और JavaScript ब्लॉक करना — Google मोबाइल-फ़्रेंडलीनेस का गलत अंदाज़ा लगा सकता है।
- निजी पेज छिपाने के लिए robots.txt इस्तेमाल करना — फ़ाइल सार्वजनिक है; ऑथेंटिकेशन इस्तेमाल करें।
- robots.txt ब्लॉक को noindex के साथ मिलाना — अगर क्रॉलर पेज क्रॉल नहीं कर सकते तो वे noindex नहीं देख सकते।
- गलत फ़ोल्डर में अपलोड करना — यह डोमेन के रूट पर होना चाहिए।
- अंत का स्लैश भूल जाना — Disallow: /admin, /administrator को भी ब्लॉक कर देता है।
समस्या-समाधान
- Google “blocked by robots.txt” बताता है उस पेज के लिए जिसे आप इंडेक्स कराना चाहते हैं — मेल खाती Disallow लाइन हटाएँ या सीमित करें।
- बदलाव नहीं दिखे — Google robots.txt को करीब एक दिन तक कैश रखता है; Search Console में दोबारा क्रॉल का अनुरोध करें।
- /robots.txt पर 404 — फ़ाइल गलत जगह है या उसका नाम गलत है (यह छोटे अक्षरों में robots.txt ही होना चाहिए)।
- कोई AI बॉट अब भी आता है — अपने सर्वर लॉग में उसका सटीक user-agent नाम जाँचें; कुछ सर्विस कई क्रॉलर इस्तेमाल करती हैं।
संक्षिप्त शब्दावली
- क्रॉलर / बॉट / स्पाइडर: सॉफ़्टवेयर जो वेब पेज अपने आप लाता है।
- User-agent: वह नाम जिससे कोई क्रॉलर अपनी पहचान देता है।
- क्रॉलिंग बनाम इंडेक्सिंग: पेज लाना बनाम उसे सर्च रिज़ल्ट में सूचीबद्ध करना।
- Sitemap: सर्च इंजन के लिए साइट के URL की XML सूची।
- RFC 9309: Robots Exclusion Protocol का 2022 का मानक।
- Noindex: मेटा टैग जो सर्च इंजन से पेज को सूचीबद्ध न करने को कहता है।
- ट्रेनिंग क्रॉलर: बॉट जो AI मॉडल ट्रेन करने के लिए कंटेंट इकट्ठा करता है।
- AI सर्च क्रॉलर: बॉट जो AI-जनित जवाबों में हवाला देने के लिए पेज लाता है।
यह Robots.txt जनरेटर क्यों इस्तेमाल करें?
यह सेकंडों में सही फ़ाइल बनाता है, हर विकल्प समझाता है, साफ़ लेबल के साथ ताज़ा AI क्रॉलर कंट्रोल देता है और robots.txt की सीमाएँ याद दिलाता है — मुफ़्त और बिना साइन-अप।
Robots.txt जनरेटर — मुख्य तथ्य
| जगह | साइट के रूट पर होना चाहिए: https://yourdomain.com/robots.txt |
|---|---|
| प्रीसेट | सब को अनुमति, AI ट्रेनिंग ब्लॉक, सारे AI ब्लॉक, WordPress, सब ब्लॉक |
| AI बॉट | GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot और अन्य |
| नियम | User-agent, Disallow, Allow, Sitemap, वैकल्पिक Crawl-delay |
| मानक | RFC 9309 Robots Exclusion Protocol |
| ज़रूरी | सिर्फ़ सलाह के तौर पर — पेज सच में छिपाने के लिए noindex या पासवर्ड इस्तेमाल करें |
अक्सर पूछे जाने वाले सवाल
robots.txt क्या है?
robots.txt किसी वेबसाइट के रूट पर रखी सादा टेक्स्ट फ़ाइल है जो क्रॉलर को बताती है कि साइट के किन हिस्सों पर वे जा सकते हैं। यह Robots Exclusion Protocol का पालन करती है, जिसे 2022 में RFC 9309 के रूप में मानकीकृत किया गया।
robots.txt कहाँ रखें?
अपने डोमेन के सबसे ऊपरी फ़ोल्डर में रखें, ताकि वह यहाँ लोड हो: https://yourdomain.com/robots.txt. सब-फ़ोल्डर में रखी फ़ाइल अनदेखी की जाती है। हर सबडोमेन को अपनी फ़ाइल चाहिए।
क्या robots.txt किसी पेज को Google में दिखने से रोकता है?
भरोसेमंद ढंग से नहीं। यह क्रॉलिंग रोकता है, लेकिन अगर दूसरी साइटें ब्लॉक किए URL से लिंक करें तो वह फिर भी इंडेक्स हो सकता है, आमतौर पर बिना description के। पेज को सर्च रिज़ल्ट से बाहर रखने के लिए क्रॉलिंग की अनुमति दें और noindex मेटा टैग जोड़ें, या उसे पासवर्ड से सुरक्षित करें।
GPTBot जैसे AI क्रॉलर को कैसे ब्लॉक करूँ?
जिन बॉट को ब्लॉक करना है उन्हें टिक करें, या कोई प्रीसेट चुनें। जनरेटर “User-agent: GPTBot / Disallow: /” जैसा एक ग्रुप जोड़ देता है। नामी AI कंपनियाँ कहती हैं कि उनके क्रॉलर इन नियमों का पालन करते हैं।
क्या Google-Extended ब्लॉक करने से मेरी साइट Google Search से हट जाएगी?
नहीं। Google-Extended एक अलग टोकन है जो Gemini मॉडल के लिए आपके कंटेंट के इस्तेमाल को कंट्रोल करता है; Google Search चलाने वाला Googlebot इससे प्रभावित नहीं होता।
ट्रेनिंग और AI सर्च बॉट में क्या फ़र्क है?
ट्रेनिंग क्रॉलर (जैसे GPTBot, ClaudeBot, CCBot) मॉडल को ट्रेन करने के लिए कंटेंट इकट्ठा करते हैं। AI सर्च बॉट (जैसे OAI-SearchBot, Claude-SearchBot, PerplexityBot) पेज लाकर उन्हें AI सर्च जवाबों में दिखाते और हवाला देते हैं। यूज़र एजेंट (जैसे ChatGPT-User) तब पेज लाते हैं जब कोई व्यक्ति असिस्टेंट से कहे। “AI ट्रेनिंग ब्लॉक करें” प्रीसेट सिर्फ़ पहले समूह को ब्लॉक करता है, इसलिए आपकी साइट AI सर्च में फिर भी दिख सकती है।
क्या crawl-delay सपोर्टेड है?
Bing जैसे कुछ क्रॉलर Crawl-delay मानते हैं, लेकिन Google इसे अनदेखा करता है। कोई खास वजह न हो तो इसे खाली छोड़ें।
क्या मुझे अपना sitemap जोड़ना चाहिए?
हाँ। Sitemap लाइन सर्च इंजन को आपके सभी पेज खोजने में मदद करती है। अपनी sitemap फ़ाइल का पूरा https:// URL इस्तेमाल करें।
क्या मैं सिर्फ़ एक पेज ब्लॉक कर सकता हूँ?
हाँ — उसका पाथ, जैसे /private-offer.html, disallow सूची में जोड़ें। पाथ में अक्षरों का छोटा-बड़ा होना मायने रखता है और वे URL की शुरुआत से मिलाए जाते हैं।
क्या खराब बॉट robots.txt मानते हैं?
नहीं। स्क्रेपर और बुरे बॉट इसे अनदेखा कर सकते हैं, और फ़ाइल सार्वजनिक होती है, इसलिए यह संवेदनशील पेजों की जगह भी बता सकती है। निजी चीज़ों के लिए ऑथेंटिकेशन और सर्वर-साइड सुरक्षा इस्तेमाल करें।
मैं अपना robots.txt कैसे टेस्ट करूँ?
अपलोड करने के बाद ब्राउज़र में yourdomain.com/robots.txt खोलें और Google Search Console की robots.txt रिपोर्ट से जाँचें कि Google उसे ला और पार्स कर पा रहा है।
क्या जनरेटर मुफ़्त है?
हाँ। यह मुफ़्त है, असीमित है और साइन-अप की ज़रूरत नहीं।
तय करें कि आपकी साइट कौन क्रॉल करे!
एक क्लिक में सर्च और AI क्रॉलर के नियम — मुफ़्त और आसान।
Prompt Minds के और टूल्स देखें
Robots.txt जनरेटर हमारे दूसरे मुफ़्त टूल्स के साथ भी बढ़िया काम करता है। Prompt Minds का हर टूल पूरी तरह आपके ब्राउज़र में चलता है — साइन-अप की ज़रूरत नहीं, कोई अपलोड नहीं, कोई वॉटरमार्क नहीं। सभी मुफ़्त टूल्स देखें।