افزودن llms.txt به پلتفرم شما
فایل llms.txt به مدلهای هوش مصنوعی میگوید کدام صفحات سایت شما ارزش خواندن دارند. هر پلتفرمی فایلهای ریشه (root) را به شکل متفاوتی ارائه میدهد — این راهنماها مسیر دقیق نصب، مراحل تایید و ترفندهای خاص هر پلتفرم را ارائه میدهند.
برای افزودن llms.txt، یک فایل متنی ساده با فرمت Markdown در مسیر yourdomain.com/llms.txt منتشر کنید که به ارجاعپذیرترین صفحات شما لینک داده باشد، با نوع محتوای text/plain ارائه شود و از قوانین کش HTML استثنا گردد.
وردپرس به طور پیشفرض فایلهای ریشه (root) را ارائه نمیدهد.
راهنمای کامل به زبان انگلیسیشاپیفای اجازه قرار دادن فایلهای استاتیک در ریشه را نمیدهد.
راهنمای کامل به زبان انگلیسیوبفلو فایلهای دلخواه ریشه را میزبانی نمیکند.
راهنمای کامل به زبان انگلیسیپلتفرم Next.js این کار را بسیار ساده میکند: فایل را در public/ قرار دهید یا یک route handler ایجاد کنید که متن ساده را استریم کند.
راهنمای کامل به زبان انگلیسییک مسیر سرور در src/routes/llms[.]txt.ts اضافه کنید.
راهنمای کامل به زبان انگلیسیپلتفرم Ghost فایلهای public/ را از طریق پوسته ارائه میدهد، اما یک فایل مسیر در پوشه پوسته تمیزتر است و در بهروزرسانیهای پوسته بهتر باقی میماند.
راهنمای کامل به زبان انگلیسیاسکوئراسپیس اجازه آپلود فایل در ریشه را نمیدهد.
راهنمای کامل به زبان انگلیسیویکس اجازه استفاده از فایلهای ریشه را نمیدهد.
راهنمای کامل به زبان انگلیسیسایتهای Framer میتوانند فایلهای سفارشی را از طریق کلودفلر یا تغییر مسیر ارائه دهند، اما تمیزترین حالت استفاده از Cloudflare در جلوی دامنه Framer است.
راهنمای کامل به زبان انگلیسیهاباسپات از آپلود فایل سفارشی از طریق مدیریت فایل Design Tools پشتیبانی میکند.
راهنمای کامل به زبان انگلیسیپلتفرم Astro هر آنچه در public/ باشد را بدون تغییر ارائه میدهد.
راهنمای کامل به زبان انگلیسیپلتفرم Gatsby در زمان ساخت (build)، پوشه static/ را در ریشه سایت کپی میکند.
راهنمای کامل به زبان انگلیسیاهمیت llms.txt در بهینهسازی AI-SEO
فایل llms.txt، مشابه robots.txt برای خزندههای وب سنتی، یک پروتکل حیاتی برای کنترل دسترسی و تعامل مدلهای زبان بزرگ (LLMs) نظیر ChatGPT، Gemini و Claude با محتوای وبسایت شما است. این فایل به شما امکان میدهد تا مشخص کنید کدام بخشهای سایت شما برای آموزش و نمایه سازی توسط LLMs در دسترس باشند یا نباشند، و همچنین نحوه استناددهی به محتوایتان را تعیین کنید. پیادهسازی صحیح آن از استفاده نادرست، سرقت محتوا (content scraping) و ارائه اطلاعات گمراهکننده توسط مدلهای هوش مصنوعی جلوگیری کرده و به بهبود AI-SEO وبسایت شما کمک شایانی میکند. OptimAIze این فایل را به عنوان ابزاری کلیدی برای دیده شدن در موتورهای جستجوی هوش مصنوعی شناسایی میکند.
ساختار و دستورالعملهای پایه llms.txt
ساختار llms.txt شامل دستورالعملهای User-agent برای شناسایی مدلهای LLM و Disallow/Allow برای کنترل دسترسی است. به عنوان مثال، `User-agent: *` برای اعمال قانون به همه LLM ها، `User-agent: ChatGPT` برای مدل خاص، و `Disallow: /private/` برای جلوگیری از دسترسی به مسیرهای خاص استفاده میشود. همچنین، دستورالعمل `Crawl-delay` برای جلوگیری از بارگذاری بیش از حد سرور توسط خزندههای LLM و `Noindex:` برای ممانعت از نمایه سازی محتوا توسط آنها قابل استفاده است. در آینده، دستورالعملهایی برای استناددهی (Attribution) و مدیریت دادههای شخصی (Personal Data Management) نیز انتظار میرود که ارزش این فایل را دوچندان کند.
تفاوت llms.txt با robots.txt
اگرچه llms.txt از لحاظ ساختاری و فلسفی شبیه robots.txt است، اما هدف و مخاطبان متفاوتی دارد. robots.txt دسترسی خزندههای موتورهای جستجوی سنتی مانند Googlebot را کنترل میکند، در حالی که llms.txt برای مدیریت تعامل با مدلهای هوش مصنوعی طراحی شده است. LLMs ممکن است از وبسایت شما برای آموزش، استخراج اطلاعات و پاسخ به پرسشها استفاده کنند. بنابراین، نیاز به یک پروتکل مجزا برای تنظیم این نوع دسترسیها ضروری است تا از سوءاستفاده یا نمایش نادرست محتوا در نتایج جستجوی هوش مصنوعی جلوگیری شود. OptimAIze بر اهمیت این تمایز در استراتژیهای AI-SEO تاکید دارد.
| CMS | محل قرارگیری فایل | روش پیادهسازی |
|---|---|---|
| WordPress | پوشه ریشه (root) سایت | ایجاد دستی فایل از طریق FTP/SFTP یا افزونه SEO |
| Shopify | ریشه دایرکتوری، قابل ویرایش از بخش تمها | ویرایش فایل `robots.txt.liquid` و اضافه کردن دستورالعملها |
| Webflow | تنظیمات سایت > SEO > Custom robots.txt | اضافه کردن دستورات به صورت مستقیم در رابط کاربری Webflow |
| Next.js | پوشه `public/` | ایجاد فایل `llms.txt` در پوشه `public` در ریشه پروژه |
| سایتهای ایستا/دیگر | پوشه ریشه (root) هاست | آپلود فایل `llms.txt` به ریشه دامنه از طریق FTP/SSH |
چکلیست موفقیت آمیز پیادهسازی llms.txt
- فایل llms.txt را در ریشه دامنه (مانند `yourdomain.com/llms.txt`) قرار دهید تا به راحتی قابل دسترسی باشد.
- User-agent های خاص LLM ها (مثلاً ChatGPT-User یا Gemini-bot) را مشخص کنید تا کنترل دقیقتری داشته باشید.
- از دستورالعمل Disallow برای جلوگیری از دسترسی LLM ها به محتوای حساس یا بخشهای داخلی سایت استفاده کنید.
- از دستورالعمل Allow برای برجستهسازی بخشهایی از سایت که میخواهید LLM ها به آنها دسترسی کامل داشته باشند، استفاده کنید.
- به طور منظم فایل llms.txt خود را بازبینی و بهروزرسانی کنید تا با تغییرات محتوایی و سیاستهای LLM ها همگام بماند.
- از ابزارهای اعتبارسنجی (مانند بخش robots.txt در Google Search Console برای robots.txt) برای اطمینان از صحت فایل استفاده کنید.
مراحل کلیدی انتشار llms.txt
- 1تعیین اهداف دسترسی
پیش از ایجاد فایل، مشخص کنید که کدام بخشهای سایت برای LLM ها قابل دسترسی باشد و کدام نباشد. این تصمیم باید بر اساس استراتژی محتوایی و حفظ حریم خصوصی شما باشد.
- 2ایجاد فایل llms.txt
یک فایل متنی ساده با نام `llms.txt` ایجاد کنید. دستورالعملهای User-agent، Disallow و Allow را با دقت در آن وارد نمایید. مطمئن شوید که سینتکس صحیح استفاده میشود.
- 3آپلود به ریشه وبسایت
فایل `llms.txt` را در پوشه ریشه (root) وبسایت خود قرار دهید. این بدان معناست که فایل باید از طریق `yourdomain.com/llms.txt` قابل دسترسی عمومی باشد.
- 4اعتبار سنجی و پایش
پس از آپلود، از طریق مرورگر مطمئن شوید که فایل در آدرس صحیح قابل دسترسی است. در آینده، ابزارهایی برای اعتبار سنجی llms.txt مانند Google Search Console برای robots.txt معرفی خواهند شد که پایش و رفع خطا را آسانتر میکند.
سوالات متداول
آیا llms.txt یک استاندارد رسمی است؟
این یک پیشنهاد جامعه کاربری است که خزندههای اصلی هوش مصنوعی به طور فزایندهای آن را فراخوانی میکنند. ساخت آن چند دقیقه زمان میبرد، هیچ خطری ندارد و راهی صریح برای هدایت مدلها به بهترین محتوای شماست.
آیا به robots.txt هم نیاز دارم؟
بله. فایل robots.txt دسترسی خزندهها را مجاز یا مسدود میکند؛ llms.txt مشخص میکند پس از دادن دسترسی، چه محتوایی اهمیت دارد. پیکربندی جستجوی هوش مصنوعی به هر دو فایل نیاز دارد.
فایل llms.txt هر چند وقت یکبار باید بهروزرسانی شود؟
هر زمان که مجموعه محتوای اصلی شما تغییر کند — مستندات جدید، خطوط تولید جدید یا قیمتگذاری جدید. بررسی ماهانه برای اکثر سایتها رویکرد معقولی است.
آیا llms.txt به طور خودکار توسط همه LLM ها رعایت میشود؟
در حال حاضر، پیروی از llms.txt اختیاری است و به توسعهدهندگان LLM بستگی دارد. با این حال، با افزایش آگاهی و استانداردسازی، انتظار میرود که LLM های اصلی و مسئولیتپذیر این پروتکل را رعایت کنند. OptimAIze بر ترویج پذیرش این استاندارد تاکید دارد.
آیا میتوانم از یک llms.txt برای چندین زیردامنه استفاده کنم؟
هر زیردامنه (مانند `blog.example.com` یا `shop.example.com`) باید فایل llms.txt مخصوص به خود را در ریشه خود داشته باشد. یک فایل در دامنه اصلی (مثلاً `example.com`) فقط برای آن دامنه و زیرپوشههایش اعمال میشود.
اگر llms.txt نداشته باشم چه اتفاقی میافتد؟
در صورت عدم وجود llms.txt، مدلهای LLM به صورت پیشفرض ممکن است به تمام محتوای عمومی سایت شما دسترسی داشته باشند. این میتواند منجر به استفاده از محتوای حساس، خصوصی یا نامربوط برای آموزش و تولید پاسخ شود و کنترل شما بر AI-SEO را کاهش دهد.
چگونه میتوانم مطمئن شوم که LLM ها به محتوای مهم من دسترسی دارند؟
با استفاده از دستورالعمل `Allow:` میتوانید به صراحت مسیرها یا فایلهایی را که میخواهید LLM ها به آنها دسترسی داشته باشند، مشخص کنید. این به ویژه برای صفحات کلیدی که برای رتبهبندی در جستجوی هوش مصنوعی ضروری هستند، مهم است. همچنین، استفاده از JSON-LD و schema.org نیز توصیه میشود.
هابهای مرتبط
راهنماهای اختصاصی صنایع مختلف برای رتبهبندی در ChatGPT، Gemini، Claude و Perplexity: نرمافزارهای SaaS، فروشگاههای اینترنتی، سلامت، مالی، حقوقی، املاک و موارد دیگر.
مقایسه پایاپای و شفاف SEO، AEO، GEO، llms.txt و robots.txt تا بدانید کدام حوزه، کدام مشکل دیده شدن را حل میکند.
راهنمای بهینهسازی موتور به موتور: کدام خزندهها را مجاز کنید، هر مدل به چه سیگنالهایی پاداش میدهد و اشتباهاتی که شما را از پاسخهای هوش مصنوعی دور نگه میدارد.
راهنماهای محلی جستجوی هوش مصنوعی برای نیویورک، لندن، پاریس، برلین، توکیو، دبی، سنگاپور و موارد دیگر: schema محلی، سیگنالهای بازخورد و زمینه بازار.
تعاریف ساده و روان برای llms.txt، AI Overviews، GPTBot، RAG، embeddings، SEO موجودیت محور، schema markup، E-E-A-T و سایر اصطلاحات جستجوی هوش مصنوعی.
سایت خود را از نظر آمادگی برای جستجوی هوش مصنوعی اسکن کنید
امتیاز رایگان GEO، AEO و SEO خود را در کمتر از یک دقیقه دریافت کنید — به همراه فایلهای آماده llms.txt، robots.txt و فهرست اصلاحات schema.
اجرای اسکن رایگان