كيفية تدقيق وصول زواحف الذكاء الاصطناعي إلى موقعك

ما الذي ينبغي اختباره عند تدقيق وصول زواحف الذكاء الاصطناعي؟

يفحص التدقيق الشامل للوصول أربع طبقات بالترتيب: الإذن المعلَن في robots.txt، والوصول عبر شبكة توصيل المحتوى أو جدار الحماية، واستجابة HTTP النهائية بعد عمليات إعادة التوجيه، ومحتوى HTML المفيد المتاح دون تشغيل JavaScript في المتصفح. اجتياز إحدى الطبقات لا يثبت أن الطبقة التالية تعمل كما ينبغي.

ما الزواحف التي تحتاج إلى فحوص منفصلة؟

لا تتعامل مع جميع وكلاء مستخدم الذكاء الاصطناعي على أنهم يؤدون الدور نفسه. فقد تستخدم عمليات استرجاع المحتوى للبحث، والجلب بطلب من المستخدم، وتدريب النماذج زواحف وضوابط مختلفة. حدّد سياستك بحسب الغرض، ثم اختبر معرّف وكيل المستخدم الرسمي كما ورد حرفيًا في وثائق كل مزوّد.

• OpenAI: اختبر OAI-SearchBot لاكتشاف المحتوى في البحث، وChatGPT-User لاسترجاع المحتوى بطلب من المستخدم، وGPTBot وفق سياستك الخاصة بالتدريب.
• Anthropic: راجع ClaudeBot وأي وكلاء لاسترجاع المحتوى واردين في الوثائق الحالية، كلًّا على حدة.
• Perplexity: اختبر PerplexityBot واسترجاع المحتوى بطلب من المستخدم وفق الوثائق الحالية.
• Google: ميّز بين وصول Googlebot لأغراض البحث وضوابط Google-Extended الخاصة بتدريب النماذج التوليدية وإسناد إجاباتها إلى مصادر.

كيف تجري اختبارًا لوصول الزواحف يمكن تكراره؟

1. اختر خمسة عناوين URL تمثّل صفحات الموقع، من بينها صفحة داخلية عميقة لا ترتبط بها الصفحة الرئيسية.
2. اجلب robots.txt وسجّل القاعدة المنطبقة على كل وكيل مستخدم.
3. اطلب كل عنوان URL باستخدام سلسلة وكيل المستخدم الرسمية، وسجّل رمز الحالة والعنوان النهائي ونوع المحتوى وحجم الاستجابة وزمنها.
4. افحص HTML المستلَم للتحقّق من وسم canonical وعنوان H1 والإجابة المباشرة والروابط الرئيسية وJSON-LD.
5. قارن استجابة الزاحف باستجابة المتصفح العادي، واستقصِ الفروق المؤثرة.
6. راجع سجلات حافة الشبكة والخادم الأصلي لرصد اختبارات التحقق وحدود معدّل الطلبات والطلبات الفاشلة المتكررة.

curl -L -A 'OAI-SearchBot' -D headers.txt https://example.com/ -o page.html
grep -Ei '<title|<h1|application/ld\+json|rel="canonical"' page.html

كيف تشخّص أسباب فشل طلب الزاحف؟

ما الذي يثبت نجاح إصلاح مشكلة الوصول؟

لا يُعدّ الإصلاح مؤكّدًا إلا عندما يتلقّى وكيل المستخدم المتأثر صفحة العنوان الأساسي برمز 200، وتتضمن الإجابة الجوهرية نفسها التي يراها الزائر. احفظ الأمر والطابع الزمني والترويسات وبصمة تجزئة لمحتوى الاستجابة أو مقتطفًا منه. ثم تأكّد من تسجيل زيارة فعلية في سجلات الخادم؛ فالاختبار المحاكى يثبت إمكانية الوصول، أما السجلات فتثبت حدوث الزحف فعلًا.

• أعد اختبار كل قالب متأثر، لا الصفحة الرئيسية وحدها.
• تأكّد من بقاء robots.txt وإشارات خرائط الموقع متّسقة.
• تحقّق من أن التخزين المؤقت لا يقدّم استجابة حظر قديمة.
• أدرج التدقيق ضمن فحوص الإصدارات بعد أي تغييرات في شبكة توصيل المحتوى أو جدار الحماية أو آلية عرض المحتوى.