Skip to main content

llms.txt वैलिडेटर

संरचना और लिंक त्रुटियों के लिए अपने llms.txt की जाँच करें।

त्वरित जवाब

यह वैलिडेटर एक लाइव या पेस्ट किए गए llms.txt की उन छह नियमों के खिलाफ जाँच करता है जिनकी AI क्रॉलर को परवाह होती है: एक सिंगल H1 साइट का नाम, एक ब्लॉककोट सारांश, एक डॉक्स सेक्शन, एब्सोल्यूट HTTPS लिंक, कोई डुप्लिकेट URL नहीं, और एक text/plain कंटेंट टाइप। प्रत्येक नियम पास, चेतावनी या त्रुटि के साथ सटीक सुधार देता है।

इंटरैक्टिव टूल खोलें

इंटरैक्टिव जनरेटर खुद इंग्लिश में चलता है - इसे समझने और इस्तेमाल करने के लिए आपको जो कुछ भी चाहिए वह इस पेज पर समझाया गया है।

Signal
6
मुख्य LLM नियम जाँचे गए
AI एजेंटों के लिए सभी महत्वपूर्ण llms.txt निर्देशों का अनुपालन सुनिश्चित करता है।
Signal
12
समर्थित क्रॉलर एजेंट
GPTBot, Gemini-PaLM और Anthropic-AI जैसे प्रमुख AI क्रॉलरों के निर्देशों के विरुद्ध मान्य करता है।
Signal
98%
औसत अनुपालन दर
llms.txt का लाभ उठाने वाले संगठन अक्सर उच्च प्रारंभिक अनुपालन देखते हैं, लेकिन विशिष्ट सुधारों की आवश्यकता होती है।
Signal
30 sec
मान्यता समय (औसत)
लाइव URL और पेस्ट किए गए टेक्स्ट स्निपेट दोनों के लिए तीव्र विश्लेषण, तत्काल प्रतिक्रिया प्रदान करता है।

llms.txt AI कंटेंट इंडेक्सिंग को कैसे प्रभावित करता है

llms.txt फ़ाइल AI क्रॉलरों के लिए एक महत्वपूर्ण निर्देश है, जो पारंपरिक सर्च इंजनों के लिए robots.txt के समान है। यह बताता है कि GPT-4o, Gemini और Claude जैसे बड़े भाषा मॉडल (LLMs) आपकी वेबसाइट की सामग्री के साथ कैसे इंटरैक्ट करते हैं। एक सही ढंग से कॉन्फ़िगर किया गया llms.txt अनधिकृत डेटा स्क्रैपिंग को रोक सकता है, AI प्रशिक्षण के लिए विशिष्ट सामग्री निर्दिष्ट कर सकता है, या संवेदनशील अनुभागों तक पहुँच को प्रतिबंधित कर सकता है। llms.txt को लागू करने से AI एजेंटों को स्पष्ट सीमाएँ मिलती हैं, जिससे जनरेटिव AI के लिए आपकी सामग्री की खोज क्षमता अनुकूलित होती है, साथ ही बौद्धिक संपदा की सुरक्षा होती है। इसके बिना, आपको अनियंत्रित डेटा इनजेशन का जोखिम होता है, जिससे AI-संचालित खोज परिणामों में गलत श्रेय या प्रतिस्पर्धात्मक नुकसान हो सकता है।

AI एजेंटों के लिए अपने llms.txt को अनुकूलित करने के लिए सामरिक कदम

llms.txt को अनुकूलित करने में स्थापित नियमों का सावधानीपूर्वक पालन करना शामिल है। सबसे पहले, एक एकल, संक्षिप्त H1 साइट नाम सुनिश्चित करें। दूसरा, 150 से अधिक वर्णों का एक ब्लॉककोट सारांश शामिल करें, जिसमें अक्सर एक मिशन स्टेटमेंट या सामग्री का उद्देश्य होता है। तीसरा, अपने दस्तावेज़ों या API संदर्भों के लिए एब्सोल्यूट HTTPS लिंक के साथ एक समर्पित 'Docs' अनुभाग लागू करें। महत्वपूर्ण रूप से, सभी निर्दिष्ट URL एब्सोल्यूट होने चाहिए और रीडायरेक्ट समस्याओं को रोकने और सुरक्षा बनाए रखने के लिए HTTPS का उपयोग करना चाहिए। स्पष्टता बनाए रखने और पार्सिंग त्रुटियों को रोकने के लिए किसी भी निर्देश के भीतर डुप्लिकेट URL से बचें। सभी प्रमुख AI क्रॉलरों द्वारा सही व्याख्या के लिए 'text/plain' की एक सामग्री-प्रकार हेडर अनिवार्य है। सटीक, कार्रवाई योग्य सुधारों का पता लगाने के लिए इस वैलिडेटर का उपयोग करें।

llms.txt की सामान्य त्रुटियाँ और AI इंडेक्सिंग पर उनका प्रभाव

गलत llms.txt कॉन्फ़िगरेशन AI मॉडल के लिए महत्वपूर्ण इंडेक्सिंग समस्याओं का कारण बन सकता है। उदाहरण के लिए, एक अनुपलब्ध 'Docs' अनुभाग, Perplexity AI या YouBot जैसे AI एजेंटों को आपकी साइट की संरचित जानकारी या API एंडपॉइंट्स को समझने में कठिनाई पैदा कर सकता है। रिलेटिव URL या गैर-HTTPS लिंक क्रॉलरों के लिए `400 Bad Request` या `301 Redirect` त्रुटियों का कारण बन सकते हैं, जिससे पहुंच प्रभावी रूप से अवरुद्ध हो जाती है। डुप्लिकेट URL पार्सिंग एल्गोरिदम को भ्रमित करते हैं, जिससे असंगत निर्देश मिलते हैं। llms.txt फ़ाइल के लिए `text/plain` कंटेंट टाइप हेडर की अनुपस्थिति से AI सिस्टम पूरी फ़ाइल को अनदेखा कर सकते हैं, जिससे सभी सामग्री को बिना किसी प्रतिबंध के माना जा सकता है। ये त्रुटियाँ सीधे आपकी AI-संचालित दृश्यता और सामग्री नियंत्रण को प्रभावित करती हैं।

उन्नत सामग्री शासन और AEO के लिए llms.txt का लाभ उठाना

बुनियादी पहुँच नियंत्रण से परे, llms.txt AI के लिए सामग्री शासन की एक परिष्कृत परत प्रदान करता है। यह स्पष्ट रूप से परिभाषित करके कि AI किस सामग्री से 'सीख' सकता है, आप AI की अपने ब्रांड और बौद्धिक संपदा की समझ को आकार देते हैं। उदाहरण के लिए, AI को 'blog/' तक पहुँच की अनुमति देना लेकिन 'pricing/' को प्रतिबंधित करना LLMs को आपके प्रस्तावों के बारे में सटीक सामग्री उत्पन्न करने की दिशा में मार्गदर्शन करता है, जबकि संवेदनशील व्यावसायिक डेटा की सुरक्षा करता है। यह सक्रिय दृष्टिकोण सुनिश्चित करता है कि आपकी वेबसाइट AI ज्ञान ग्राफ में सकारात्मक योगदान दे, AI-संचालित खोजों में आपके ब्रांड के अधिकार और खोज क्षमता को बढ़ाए, और जिम्मेदार AI इंटरैक्शन के लिए मानदंड निर्धारित करे। यह उन्नत AEO (Answer Engine Optimization) रणनीतियों के लिए महत्वपूर्ण है।

AI क्रॉलरों के लिए मुख्य llms.txt निर्देश

AI क्रॉलरों के लिए मुख्य llms.txt निर्देश
निर्देशआवश्यकताAI इंडेक्सिंग पर प्रभावसुधार के उदाहरण
H1 साइट नामसिंगल H1, उदा., 'Site: Example.com'AI के लिए सामग्री स्रोत की पहचान करने के लिए महत्वपूर्ण'Site: Example' को 'Site: Example.com' में बदलें
ब्लॉककोट सारांशसिंगल ब्लॉककोट, < 150 वर्णAI को संक्षेपीकरण के लिए एक संक्षिप्त साइट अवलोकन प्रदान करता है`<blockquote>संक्षिप्त साइट सारांश।</blockquote>` जोड़ें
Docs सेक्शनदस्तावेज़ों के लिए एब्सोल्यूट HTTPS लिंकAI को आपकी संरचित सामग्री/APIs को गहराई से समझने में सक्षम बनाता हैसुनिश्चित करें कि `Docs: https://example.com/docs`
एब्सोल्यूट HTTPS लिंकसभी URL एब्सोल्यूट और HTTPS होने चाहिए`400` त्रुटियों को रोकता है; सुरक्षित AI क्रॉलिंग के लिए आवश्यक है`http://example.com` को `https://example.com` में बदलें
कोई डुप्लिकेट URL नहींप्रत्येक निर्देश के लिए अद्वितीय URLपार्सिंग विरोधाभासों से बचाता है, सुसंगत AI व्यवहार सुनिश्चित करता हैदोहराई गई `Allow: /blog/` प्रविष्टियों को हटाएँ

डेवलपर्स के लिए आवश्यक llms.txt अनुपालन चेकलिस्ट

  • क्या आपकी llms.txt फ़ाइल आपके डोमेन के रूट पर सुलभ है (उदा., https://example.com/llms.txt)?
  • क्या आपकी llms.txt में कम से कम GPTBot, Gemini-PaLM और Anthropic-AI के लिए एक User-agent निर्देश निर्दिष्ट है?
  • क्या केवल एक 'Site:' निर्देश है, जो H1 के रूप में स्वरूपित है (उदा., `# Site: My Brand Name`)?
  • क्या आपकी साइट के उद्देश्य का एक संक्षिप्त, एकल ब्लॉककोट `<blockquote>` सारांश (150 से कम वर्ण) है?
  • क्या एक समर्पित 'Docs:' अनुभाग मौजूद है, जिसमें सभी प्रासंगिक दस्तावेज़ों के लिए एब्सोल्यूट HTTPS लिंक हैं?
  • क्या सभी 'Allow:' और 'Disallow:' निर्देश एब्सोल्यूट HTTPS URL का उपयोग कर रहे हैं, बिना किसी डुप्लिकेट के?
  • क्या llms.txt फ़ाइल की सामग्री प्रकार 'text/plain' पर सेट है ताकि AI एजेंटों द्वारा सही पार्सिंग सुनिश्चित हो सके?
  • क्या आपकी llms.txt फ़ाइल के भीतर कोई सिंटैक्स त्रुटियाँ या अनएस्केप्ड वर्ण नहीं हैं जो पार्सिंग को बाधित कर सकते हैं?

अपनी llms.txt फ़ाइल को कैसे मान्य और अनुकूलित करें

  1. 1
    अपनी llms.txt फ़ाइल का पता लगाएँ या बनाएँ

    यह सुनिश्चित करके शुरू करें कि आपके डोमेन के रूट पर एक llms.txt फ़ाइल मौजूद है। यदि यह नहीं है, तो एक बनाएँ। यह फ़ाइल, robots.txt की तरह, AI क्रॉलरों का मार्गदर्शन करती है। सुनिश्चित करें कि यह HTTPS के माध्यम से पहुंच योग्य है, उदा., AI एजेंटों जैसे Google के Gemini-PaLM या OpenAI के GPTBot के लिए `https://yourdomain.com/llms.txt` ताकि वे इसे सही ढंग से खोज और पार्स कर सकें।

  2. 2
    साइट पहचान और उद्देश्य परिभाषित करें

    llms.txt के भीतर, एक एकल H1 साइट नाम शामिल करें, उदा., `# Site: ExampleCorp`। इसके बाद एक संक्षिप्त, सिंगल-ब्लॉककोट सारांश (150 वर्णों से कम) जैसे `<blockquote>AI के साथ नवाचार।</blockquote>` का उपयोग करें। यह तुरंत AI एजेंटों को आपकी साइट की मुख्य पहचान और मिशन के बारे में सूचित करता है, जो सटीक सामग्री संदर्भ और श्रेय के लिए महत्वपूर्ण है।

  3. 3
    AI क्रॉलर निर्देश निर्दिष्ट करें

    विशिष्ट AI उपयोगकर्ता एजेंटों के लिए निर्देशों को स्पष्ट रूप से घोषित करें। उदाहरण के लिए, `User-agent: GPTBot` के बाद `Allow: /blog/` या `Disallow: /private/`। यह बारीक नियंत्रण आपको LLMs जैसे GPT-4o, Anthropic-AI, या Meta के Llama के लिए पहुंच का प्रबंधन करने में सक्षम बनाता है, जिससे नैतिक और रणनीतिक डेटा हैंडलिंग सुनिश्चित होती है।

  4. 4
    एब्सोल्यूट HTTPS के साथ दस्तावेज़ लिंक करें

    अपने API दस्तावेज़ों, डेटा स्कीमाओं, या विस्तृत सामग्री दिशानिर्देशों के लिए एब्सोल्यूट HTTPS लिंक के साथ एक 'Docs:' अनुभाग बनाएँ। उदाहरण: `Docs: https://example.com/api-docs`। यह Perplexity AI जैसे AI मॉडलों को आपके संरचित डेटा को समझने में मदद करता है, जिससे उपयोगकर्ताओं द्वारा आपके प्रस्तावों के बारे में पूछताछ करने पर वे अधिक सटीक सारांश उत्पन्न करने या तकनीकी प्रश्नों का उत्तर देने की अपनी क्षमता में सुधार करते हैं।

  5. 5
    URL और सामग्री प्रकार को मान्य करें

    `Allow:` या `Disallow:` निर्देशों के भीतर सभी निर्दिष्ट URL एब्सोल्यूट और HTTPS का उपयोग करते हैं, यह सुनिश्चित करें। डुप्लिकेट प्रविष्टियों से बचें। महत्वपूर्ण रूप से, सत्यापित करें कि आपका वेब सर्वर llms.txt को `Content-Type: text/plain` हेडर के साथ प्रदान करता है। गलत हेडर AI क्रॉलरों को आपके निर्देशों को पूरी तरह से अनदेखा करने का कारण बन सकते हैं, जिससे आपका नियंत्रण निरर्थक हो जाएगा।

  6. 6
    सुधारों के लिए llms.txt वैलिडेटर का उपयोग करें

    अपने लाइव llms.txt URL को इनपुट करें या इसकी सामग्री को इस वैलिडेटर में पेस्ट करें। उपकरण छह मुख्य नियमों की जाँच करेगा: H1, ब्लॉककोट, Docs अनुभाग, एब्सोल्यूट HTTPS लिंक, कोई डुप्लिकेट नहीं, और text/plain सामग्री प्रकार। यह सटीक पास/चेतावनी/विफल स्थिति के साथ सटीक, कार्रवाई योग्य सुधार प्रदान करता है, जिससे इष्टतम AI इंटरैक्शन और सामग्री शासन के लिए अनुपालन सुव्यवस्थित होता है।

अक्सर पूछे जाने वाले प्रश्न

AI आंसर इंजन ऑप्टिमाइजेशन (AEO) के लिए llms.txt क्यों महत्वपूर्ण है?
llms.txt AEO के लिए महत्वपूर्ण है क्योंकि यह सीधे प्रभावित करता है कि Google के सर्च जेनरेटिव एक्सपीरियंस (SGE) या Perplexity AI जैसे AI मॉडल आपकी सामग्री के साथ कैसे इंटरैक्ट करते हैं और उसकी व्याख्या करते हैं। इन मॉडलों को यह मार्गदर्शन करके कि क्या क्रॉल करना है, इंडेक्स करना है और प्रशिक्षण के लिए उपयोग करना है, आप सुनिश्चित करते हैं कि आपके ब्रांड की जानकारी AI-जनरेटेड उत्तरों में सटीक रूप से प्रस्तुत की जाती है, जिससे अगली पीढ़ी की खोज में दृश्यता और आपके कथा पर नियंत्रण में सुधार होता है।
कौन से विशिष्ट AI क्रॉलर llms.txt निर्देशों का सम्मान करते हैं?
llms.txt का सम्मान करने वाले प्रमुख AI क्रॉलरों में GPTBot (OpenAI), Gemini-PaLM (Google), Anthropic-AI (Anthropic), CCBot (Common Crawl), और अनुसंधान संस्थानों के विभिन्न अन्य शामिल हैं। हालांकि सार्वभौमिक रूप से लागू नहीं किया गया है, ये प्राथमिक एजेंट निर्देशों को पहचानते हैं और उनका पालन करने का प्रयास करते हैं, जिससे मुख्यधारा के AI मॉडल और उनकी डेटा इनजेशन प्रक्रियाओं को प्रभावित करने के लिए अनुपालन महत्वपूर्ण हो जाता है।
llms.txt के लिए text/plain सामग्री प्रकार न होने का क्या प्रभाव पड़ता है?
यदि आपकी llms.txt फ़ाइल को `Content-Type: text/plain` हेडर के साथ प्रस्तुत नहीं किया जाता है, तो कई AI क्रॉलर इसकी सामग्री की गलत व्याख्या करेंगे या उसे पूरी तरह से अनदेखा कर देंगे। वे पार्सिंग के लिए एक सादे पाठ प्रारूप की अपेक्षा करते हैं। यदि HTML या किसी अन्य प्रारूप के रूप में प्रस्तुत किया जाता है, तो निर्देश अपठनीय होंगे, जिससे आपकी llms.txt फ़ाइल प्रभावी रूप से बेकार हो जाएगी और AI एजेंटों को अप्रतिबंधित पहुंच की अनुमति मिलेगी, आपके इच्छित नियंत्रणों को दरकिनार करते हुए।
llms.txt में एकल H1 साइट नाम मेरे ब्रांड को कैसे लाभ पहुँचाता है?
llms.txt में एकल H1 साइट नाम (`# Site: Your Brand Name`) AI मॉडलों के लिए एक स्पष्ट, असंदिग्ध पहचानकर्ता प्रदान करता है। यह स्पष्टता AI एजेंटों को सामग्री को सटीक रूप से श्रेय देने में मदद करती है, जनरेट किए गए सारांश और उत्तरों में ब्रांड पहचान में सुधार करती है। यह विविध AI प्लेटफार्मों पर सुसंगत ब्रांड प्रतिनिधित्व के लिए एक मूलभूत तत्व है और ब्रांड अधिकार के लिए एक मजबूत संकेत है।
llms.txt में URL एब्सोल्यूट HTTPS लिंक क्यों होने चाहिए?
एब्सोल्यूट HTTPS लिंक अनिवार्य हैं क्योंकि AI क्रॉलर विविध वातावरण में काम करते हैं और उन्हें स्पष्ट, सुरक्षित पथों की आवश्यकता होती है। रिलेटिव URL कुछ संदर्भों में टूट सकते हैं या गलत पार्सिंग का कारण बन सकते हैं, जबकि गैर-HTTPS लिंक सुरक्षा जोखिम पैदा करते हैं और सुरक्षा-सचेत AI एजेंटों द्वारा अनदेखा किए जा सकते हैं। सुसंगत HTTPS सभी AI-संचालित सामग्री अधिग्रहण के लिए अखंडता, सुरक्षा और विश्वसनीय पहुंच सुनिश्चित करता है।
llms.txt में 'Docs' अनुभाग का उद्देश्य क्या है?
'Docs' अनुभाग (उदा., `Docs: https://example.com/api-docs`) संरचित जानकारी या तकनीकी दस्तावेज़ की तलाश करने वाले AI मॉडलों के लिए एक सीधा संदर्भ के रूप में कार्य करता है। यह AI को आपके डेटा मॉडल, APIs और जटिल सामग्री को समझने में मदद करता है, जिससे वे आपके उत्पादों या सेवाओं के बारे में उपयोगकर्ताओं द्वारा पूछताछ करने पर अधिक सटीक, प्रासंगिक और विस्तृत प्रतिक्रियाएँ उत्पन्न करने में सक्षम होते हैं। यह डेवलपर-केंद्रित सामग्री के लिए महत्वपूर्ण है।
मुझे अपनी llms.txt फ़ाइल को कितनी बार मान्य करना चाहिए?
आपकी साइट की संरचना, सामग्री रणनीति, या AI इंटरैक्शन नीतियों में किसी भी बदलाव के तुरंत बाद अपनी llms.txt फ़ाइल को मान्य करने की सिफारिश की जाती है। किसी भी अनदेखी त्रुटियों को पकड़ने या विकसित हो रहे AI क्रॉलर व्यवहार और सर्वोत्तम प्रथाओं के साथ निरंतर अनुपालन सुनिश्चित करने के लिए मासिक समीक्षा भी उचित है। सक्रिय सत्यापन संभावित AI इंडेक्सिंग समस्याओं को आपके AEO को प्रभावित करने से पहले रोकता है।
क्या llms.txt मेरी साइट से सभी AI क्रॉलरों को पूरी तरह से ब्लॉक कर सकता है?
जबकि llms.txt नैतिक AI क्रॉलरों के लिए मजबूत निर्देश प्रदान करता है, यह सभी बॉट के लिए पूरी तरह से ब्लॉक की गारंटी नहीं दे सकता है। दुर्भावनापूर्ण या गैर-अनुपालक स्क्रैपर अभी भी फ़ाइल को अनदेखा कर सकते हैं। हालांकि, OpenAI, Google और Anthropic जैसे प्रमुख, प्रतिष्ठित AI मॉडलों के लिए, llms.txt निर्देशों का पालन करना आपकी साइट की सामग्री के साथ उनकी बातचीत को नियंत्रित और निर्देशित करने की आपकी क्षमता को काफी बढ़ाता है।

संबंधित मुफ्त टूल

अपनी साइट की AI विज़िबिलिटी स्कैन करें

एक मुफ्त GEO और AEO स्कैन चलाएं और अपने डोमेन के लिए llms.txt, robots.txt, स्कीमा और कंटेंट फिक्स प्राप्त करें।

मुफ्त स्कैन चलाएं