يدير robots.txt الزحف المتعاون ولا يحمي المحتوى الخاص
ملف robots.txt طلب علني يوضع في المسار الأعلى `/robots.txt` للموقع. يخبر الزواحف المتعاونة بمسارات URL التي يمكنها جلبها، لكنه ليس نظام تفويض ولا ينبغي أن يذكر مجلداً لمجرد أن اسمه سري. توحد RFC 9309 بروتوكول استبعاد الروبوتات، بما في ذلك مجموعات وكلاء المستخدم ومطابقة المسارات وأولوية القواعد والترميز وسلوك الجلب. تبقى المصادقة وسيلة التحكم في المادة التي يجب أن تظل خاصة.
زحف البحث وتدريب الذكاء الاصطناعي والاسترجاع بطلب المستخدم قرارات منتجات منفصلة. توثق OpenAI مثلاً OAI-SearchBot للبحث وGPTBot للتدريب المحتمل وChatGPT-User لإجراءات يبدأها المستخدم. وينشر كل مزوّد أسماءه وسياساته. قد يؤدي جمع الأسماء كلها تحت فكرة مبهمة اسمها «روبوت ذكاء اصطناعي» إلى حجب اكتشاف تريده أو السماح باستخدام ترفضه، لذلك سجّل غرض كل وكيل ومصدره عند إضافته.
مولّد robots.txt: الطريقة والافتراضات
احصر فئات الروابط القابلة للزحف قبل كتابة التعليمات. أنشئ أوسع مجموعة وكلاء تشترك في السياسة، وأضف مجموعات أضيق فقط عندما تختلف معاملتها، واكتب المسارات من جذر URL وبحالة الأحرف نفسها المستخدمة في الموقع. اختبر مساراً محجوباً واستثناءً مسموحاً عمداً. تستخدم مطابقة RFC القاعدة الأكثر تحديداً، وعند تساوي Allow وDisallow في التحديد تفوز Allow. أضف مواقع Sitemap المطلقة منفصلة، ثم اجلب الملف المنشور كزائر مجهول.
تحكم RFC 9309 دلالات المطابقة العامة. ويحكم توثيق Google للزواحف وrobots الحدود والتعليمات الخاصة به، بينما تمثل صفحة الزواحف الحالية لكل مزوّد ذكاء اصطناعي المرجع لرمز ذلك المزوّد والغرض المعلن منه.
مثال قابل للتحقق باستخدام مولّد robots.txt
اسمح بالزحف العادي واحجب `/private/`، ثم أعد فتح `/private/public-guide` بقاعدة Allow أطول. أضف OAI-SearchBot إلى سياسة البحث المسموحة، وضع GPTBot في مجموعة تدريب منفصلة مع `Disallow: /`. اختبر `/private/report` و`/private/public-guide` و`/Private/report` و`/assets/site.css` والصفحة الرئيسية. المسار ذو الحرف الكبير حالة مختلفة، ولا ينبغي وصف حجب وكيل التدريب بأنه حذف لنتيجة بحث مفهرسة من قبل.
ترتيب القرار: اختر كل مجموعة يطابق رمز وكيلها الوكيل المطلوب، وادمج المجموعات المطابقة، وابحث عن أطول قاعدة مسار مطابقة، وفضّل Allow عند تعادل الطول تماماً. وإذا لم تتطابق مجموعة فقد تنطبق مجموعة البدل العام.
مواضع تحتاج إلى عناية إضافية في مولّد robots.txt
يتجاهل Google التعليمة `crawl-delay`، وليست `noindex` تعليمة مدعومة في robots.txt. قد يظهر رابط محجوب في البحث دون مقتطف إذا اكتشف Google عنوانه من مكان آخر؛ استخدم وسيلة تحكم في الفهرسة ضمن استجابة قابلة للزحف أو إجراء إزالة عندما يكون الاختفاء هو الهدف. يحد Google معالجة الملف عند 500 كيلوبايت. وقد يمنع حجب CSS أو JavaScript الزاحف من عرض الصفحة بدقة، بينما يكشف سرد المسارات الحساسة أسماءها للجميع.
اختبر مسارات عامة وخاصة ومسارات الملفات والاستعلامات للمجموعة العامة ولكل زاحف يملك سياسة خاصة. وانتبه إلى خطأ متكرر: استخدام مفتاح واحد لجميع زواحف الذكاء الاصطناعي رغم اختلاف رموز البحث والتدريب والاسترجاع بطلب المستخدم وسلوكها.
فحوص قبل اعتماد النتيجة
- قالب أو مصدر مستورد ومجموعات وكلاء المستخدم ومسارات السماح والمنع وروابط خرائط الموقع وسياسات زواحف الذكاء الاصطناعي حسب الغرض.
- اختبر مسارات عامة وخاصة ومسارات الملفات والاستعلامات للمجموعة العامة ولكل زاحف يملك سياسة خاصة.
- Robots.txt عام وتوجيهي ولا يمنع الفهرسة بشكل موثوق وقد لا يتحكم في أدوات الاسترجاع التي يشغلها المستخدم.
- راجع تعريفات الزواحف الرسمية وأعد اختبار المسارات المهمة عند تغيير سياسة وصول البحث أو الذكاء الاصطناعي.
- اجمع سياسة الزحف مع Schema خاصة بكل صفحة لتوضيح السياق ووسوم Open Graph للمشاركة الاجتماعية.
مصادر مولّد robots.txt
- RFC 9309: بروتوكول استبعاد الروبوتات
RFC Editor
يوحد جلب robots.txt وتجميع الوكلاء ومطابقة المسارات الحساسة لحالة الأحرف وأولوية أطول قاعدة وحل التعادل وحدود المحلل.
- كيف يفسر Google ملف robots.txt
بنية زحف Google
يوثق الحقول التي يدعمها Google وسلوك القواعد وحد المعالجة البالغ 500 كيلوبايت والتعامل مع تعليمات غير مدعومة مثل crawl-delay.
- مقدمة إلى robots.txt
Google Search Central
يشرح الفرق بين التحكم في الزحف والتحكم في الفهرسة، وينبه إلى أن الرابط المحجوب قد يظل ظاهراً في البحث.
- نظرة عامة على زواحف OpenAI
OpenAI
يميز رموز زواحف OpenAI الخاصة بالبحث والتدريب والإجراءات التي يبدأها المستخدم حتى يتخذ مالك الموقع قرارات منفصلة.
استخدم مولّد robots.txt من TOOLFINA
أنشئ مجموعات وكلاء من الفهرس المراجع أو أدخل رمزاً مخصصاً موثقاً، وأضف مسارات Allow وDisallow وروابط Sitemap، وشغّل اختبار المسار على روابط ممثلة. نزّل النص بعد معالجة تنبيهات حجب الموقع كله أو الأصول أو التعليمات غير المدعومة.
المدخلات: رموز الزواحف وقواعد الوصول وروابط Sitemap ومسارات الاختبار. المخرجات: مسودة robots.txt بترميز UTF-8 وتشخيصات وشرح لقرار المطابقة. لا تستطيع الأداة نشر الملف أو التحقق من هوية الزاحف أو إزالة رابط من فهرس.
يعمل الإنشاء وتحليل الملف المستورد والتحقق واختبار المسارات محلياً دون طلب الموقع. ينشئ المنشئ مجموعات وفق المعيار ويحافظ على المسارات المحمية داخل مجموعات الزواحف الصريحة ويتحقق من المصدر القابل للتعديل ويختبر المسار وفق قاعدة أطول تطابق.
جرّب هذه الأداة
أنشئ قواعد robots.txt وعدّلها وتحقق منها واختبرها لمحركات البحث واكتشاف الذكاء الاصطناعي وتدريب النماذج والوكلاء بطلب المستخدم.
مولّد robots.txt