تعتمد Google على بنية البحث
توضح Google أن ميزات الذكاء الاصطناعي تعتمد على أنظمة البحث القائمة. لا يلزم مخطط خاص؛ وتبقى أهلية الفهرسة وضوابط المقتطفات وقواعد البحث المعتادة ذات صلة.
تفصل OpenAI بين البحث والتدريب
يدعم OAI-SearchBot اكتشاف المحتوى في البحث، بينما يمثل GPTBot تحكماً منفصلاً مرتبطاً باحتمال استخدام المحتوى في التدريب. ينبغي اتخاذ قرار مستقل لكل غرض.
تنشر Anthropic وPerplexity ضوابط مستقلة
توثق المنصتان هويات برامج الزحف وسلوك الاسترجاع. ويجب الجمع بين قواعد robots واختبارات حية على CDN أو WAF، لأن ملف السياسة وحده لا يثبت نجاح الوصول.
الإجابة المباشرة / سياسة برامج الزحف
تُدار برامج زحف الذكاء الاصطناعي بحسب اسم كل وكيل وغرضه، لا بقاعدة شاملة واحدة.
الاكتشاف عبر البحث، وجلب صفحة استجابةً لطلب شخص، وجمع المحتوى لتطوير النماذج أنشطة مختلفة. ولهذا تنشر منصات عدة أسماء منفصلة لوكلائها، حتى يستطيع مالك الموقع اتخاذ قرار مستقل بشأن كل غرض. يمكن مثلاً السماح لوكيل البحث الآلي مع رفض وكيل التدريب؛ أما التعامل مع كل وكيل يرتبط اسمه بالذكاء الاصطناعي كأنه الزائر نفسه فيلغي هذا الفصل الضروري.
يبدأ القرار في ملف robots.txt لكنه لا ينتهي عنده. يجب أن يقدّم الخادم الأصلي وشبكة CDN وجدار الحماية ونظام إدارة الروبوتات وحدود المعدل والتطبيق نفسه الاستجابة العامة المقصودة. ويمكن انتحال نص User-Agent بسهولة، لذلك ينبغي أن يجمع أي استثناء أمني بين اسم الوكيل ونطاقات IP الحالية أو طريقة التحقق التي ينشرها مزوّده. قاعدة robots.txt تعبّر عن تفضيل الناشر؛ ولا تثبت أن الزاحف الحقيقي زار الصفحة أو فهرسها أو استشهد بها.
النهج العملي للناشر الذي يريد الظهور هو إبقاء الوصول إلى المحتوى العام متاحاً لبرامج البحث وعمليات الجلب التي يطلبها المستخدم، واتخاذ قرار منفصل بشأن تطوير النماذج، وحماية المسارات غير العامة بالمصادقة، واختبار عيّنة ممثلة من الروابط من خارج بيئة النشر. وينبغي حفظ سجل مؤرّخ للسياسة لأن أسماء الوكلاء وأغراضهم ونطاقاتهم الشبكية قد تتغير.
ثلاثة أغراض / ثلاثة قرارات
حدّد طبيعة النشاط قبل أن تكتب القاعدة.
قد تنشر المنصة الواحدة أكثر من وكيل. والسياسة المفيدة تسجّل غرض كل وكيل والنتيجة المطلوبة منه والكلفة التشغيلية المقبولة.- 01
الاكتشاف عبر البحث
يكتشف الزاحف الآلي المستندات ويحدّثها من أجل فهرس بحث أو إجابات. وقد يؤدي منعه إلى تقليص أهلية المحتوى للظهور في تجربة البحث المعنية أو فقدانها، لكن السماح له لا يضمن الفهرسة أو الاختيار.
القرار: هل نريد لهذا المحتوى العام أن يكون قابلاً للاكتشاف في نتائج بحث هذه المنصة؟ - 02
الجلب بطلب المستخدم
يزور وكيل الجلب الصفحة لأن شخصاً طلب من المنتج فتحها أو استخدامها. وتوضح بعض الشركات أن قواعد robots.txt المعتادة قد لا تنطبق على هذا النشاط الذي يباشره المستخدم. تبقى المصادقة والتفويض وأمن التطبيق هي الحدود الفعلية للمعلومات الخاصة.
القرار: هل يجوز للمستخدم أن يطلب من المنتج جلب الصفحة نفسها التي يستطيع أي زائر مجهول فتحها؟ - 03
تطوير النماذج
يعبّر زاحف مستقل أو رمز تحكم مخصص عن قرار الناشر بشأن جمع المحتوى العام لتدريب النماذج الأساسية أو تحسينها. يمكن فصل هذا القرار عن الاكتشاف في البحث، وينبغي مراجعته ضمن سياسة الحقوق والترخيص والمصالح التجارية للناشر.
القرار: هل يسمح الناشر بهذا الاستخدام التطويري الموثق في حدود حقوقه وسياسة المخاطر لديه؟
مصفوفة المنصات والوكلاء
استخدم الاسم الرسمي الحالي، ثم تحقّق من مسار التسليم كاملاً.
يسجّل الجدول الأدوار الموثقة في تاريخ المراجعة. أعد فحص المصدر الأولي المرتبط قبل تغيير السياسة، ولا تحوّل قائمة سماح ثابتة إلى قاعدة أمنية دائمة من دون التحقق الشبكي وتحديثها.مسار إعداد السياسة والتحقق
انتقل من نية النشر إلى الدليل عبر خمس مراحل.
01 / التصنيف
احصر المحتوى وحدد ما هو عام فعلاً.
افصل الصفحات التحريرية والتجارية العامة عن الحسابات وبيانات النماذج والملفات الخاصة وخوادم المعاينة ونتائج البحث الداخلي ومسارات الإدارة. ملف robots.txt ليس وسيلة لمنع الوصول؛ وكل مسار يتضمن معلومات سرية يجب أن يكون خلف المصادقة حتى لو مُنعت منه جميع برامج الزحف.
سجّل وضع الحقوق للكتب ومجموعات البيانات والصور ومحتوى العملاء. لا تستطيع سياسة الزحف منح الناشر حقاً لا يملكه، ولا ينبغي لقاعدة سماح واسعة أن تكشف بصمت مادة لم يُحسم وضع نشرها.
02 / الاختيار
اتخذ قراراً مستقلاً لكل غرض موثق.
أنشئ جدولاً صغيراً يضم الوكيل والمزوّد والغرض والقرار المطلوب والمالك والتاريخ ورابط المصدر وموعد المراجعة. لا تجعل الوصول للبحث أو الجلب بطلب المستخدم أو تطوير النماذج يرث أحدها قرار الآخر لمجرد أنها تابعة للشركة نفسها.
إذا كان الهدف هو قابلية الاكتشاف، فأبقِ برامج البحث الآلية اللازمة لذلك متاحة. ويمكن للناشر في الوقت نفسه اختيار سياسة مختلفة لتطوير النماذج. اشرح المفاضلة بوضوح، واحصل على القرار القانوني أو المتعلق بالحقوق عندما تتطلب طبيعة المحتوى ذلك.
03 / التنفيذ
وحّد منطق robots.txt وأمن الحافة والتطبيق.
انشر مجموعات الوكلاء بدقة ومن دون تعارض غير مقصود في أولوية القواعد. ثم افحص قواعد الروبوتات في CDN والتحديات المُدارة والحجب الجغرافي وحدود المعدل وقوائم السماح في الخادم الوسيط وطبقة التطبيق. لا تستطيع عبارة Allow تجاوز جدار حماية يعيد 403 أو صفحة تحقق أو استجابة 200 فارغة.
استخدم حدوداً محسوبة. قاعدة قاسية على الجميع قد تدفع المنصة إلى وقف الجلب، وغياب الحماية كلياً قد يعرّض الخادم الأصلي لزيارات منتحلة. عندما ينشر المزوّد نطاقات IP، اجمعها مع اسم الوكيل وحدّثها من نقطته الرسمية.
04 / الاختبار
اختبر تفسير السياسة والتسليم الشبكي والمعنى المعروض كل واحد على حدة.
ابدأ بفحص ما إذا كان الرابط المستهدف مسموحاً للمجموعة المعنية في robots.txt. بعد ذلك أرسل طلباً باسم الوكيل من خارج بيئة الخادم، واحتفظ بالحالة والرابط النهائي والرؤوس وبصمة المحتوى ونتيجة أي تحدٍّ. ثم اعرض صفحات ممثلة بصرياً للتأكد من بقاء الإجابة والأدلة والروابط سليمة.
الاختبار باسم User-Agent مصطنع يثبت فقط استجابة المنظومة لذلك النص من شبكة الاختبار؛ ولا يثبت زيارة المنصة الحقيقية. يتطلب تصنيف السجلات الفعلية قائمة IP الحالية من المزوّد أو طريقة DNS التي يحددها.
05 / المراقبة
سجّل الإتاحة والزيارة والفهرسة والاستشهاد كوقائع منفصلة.
يثبت اختبار التسليم الناجح الأهلية التقنية في لحظة محددة. قد تُظهر سجلات الخادم لاحقاً زيارة موثقة، وقد تعرض أدوات مشرفي المواقع الزحف أو الفهرسة، وقد تكشف مراقبة الإجابات أو تقارير المنصة استشهاداً. لا يجوز افتراض أي مرحلة انطلاقاً من مرحلة أخرى.
راجع السياسة عندما تتغير الوثائق الرسمية أو أسماء الوكلاء أو خلاصات IP أو منتج جدار الحماية أو بنية الاستضافة أو حقوق النشر. احتفظ بالإصدار السابق، وأعد الاختبار قبل وصف الوضع الجديد بأنه مطبق على الموقع الحي.
الحد الأدنى لسجل السياسة
تحتاج سياسة الزحف العملية إلى ستة سجلات إضافية إلى جانب robots.txt.
الملف العام ليس إلا تعبيراً واحداً عن قرار تشغيلي أوسع.سجل الأغراض
اربط كل وكيل مسمى بالاكتشاف عبر البحث أو الجلب بطلب المستخدم أو تطوير النماذج أو أي استعمال موثق آخر. لا تستنتج الغرض من اسم العلامة التجارية وحده.
حدود المحتوى
اذكر عائلات المسارات العامة التي تشملها السياسة والأنظمة الخاصة المحمية بالمصادقة. أدرج النطاقات الفرعية والمضيفين البدلاء بوضوح.
سجل المصدر الأولي
احتفظ برابط الوثيقة الرسمية وتاريخ مراجعتها ورمز الوكيل ونقطة التحقق والتحفظات الجوهرية. ضع موعداً لمراجعة التفاصيل سريعة التغير.
تنفيذ طبقة الحافة
سجّل قواعد CDN وWAF وحدود المعدل والحجب الجغرافي والخادم الأصلي التي يمكنها تجاوز سماح robots.txt الظاهر، مع تحديد المسؤول عنها.
أدلة القبول
احتفظ بنتيجة تحليل القواعد واستجابة HTTP باسم الوكيل وبصمة المحتوى النهائية والموارد الفاشلة ولقطة معروضة ممثلة لكل فئة مهمة من الروابط.
دفتر النتائج
سجّل الزيارات الموثقة والفهرسة والاستشهادات والإحالات كلّاً على حدة. لا تحوّل نجاح اختبار الوصول إلى ادعاء ضمني عن الاستخدام اللاحق.
إشارات الخطر في السياسة
ثمانية أخطاء تضر بالاكتشاف أو بالأمن.
تنشأ معظم المشكلات من جمع ضوابط مختلفة في قرار واحد أو من التعامل مع الوثائق وكأنها لا تتغير.حجب جميع الوكلاء المرتبطين بالذكاء الاصطناعي معاً
قد يعطّل ذلك الاكتشاف في البحث أو الجلب الذي يطلبه المستخدم، مع أن القرار المقصود كان متعلقاً بتطوير النماذج وحده.
السماح لكل وكيل بكل مسار
قابلية اكتشاف المحتوى العام لا تبرر فتح الحسابات أو الإدارة أو الملفات الخاصة أو نقاط استقبال النماذج. المصادقة هي حد الأسرار.
اعتبار User-Agent إثباتاً للهوية
يمكن انتحال أسماء الوكلاء بسهولة. ينبغي لأي استثناء أمني أن يستخدم أيضاً طريقة التحقق الشبكي التي يوثقها المزوّد.
اختبار robots.txt وحده
قد تستمر شبكة CDN أو جدار الحماية أو محدد المعدل أو الخادم الأصلي في إعادة تحدٍّ أو خطأ أو محتوى مختلف أو موارد محجوبة.
تقديم Google-Extended كأداة للتحكم في بحث Google
تصرّح Google بأن هذا الرمز لا يؤثر في إدراج الموقع أو ترتيبه ضمن بحث Google.
استخدام ChatGPT-User لإدارة الظهور في ChatGPT Search
تحدد OpenAI الوكيل OAI-SearchBot للتحكم في البحث وتقول إن ChatGPT-User لا يقرر الإدراج فيه.
وصف زيارة روبوت بأنها تدريب أو استشهاد
لا يثبت طلب واحد كيفية استخدام المحتوى ولا ظهوره في إجابة. يحتاج الغرض والنتيجة إلى دليل مستقل لكل منهما.
عدم تحديث قائمة IP منسوخة
قد تتغير النطاقات الشبكية وإصدارات الوكلاء. القائمة القديمة قد تحجب الزيارة الحقيقية أو تثق بعناوين لم تعد تابعة للمزوّد.
أدلة مترابطة
اربط سياسة الزحف ببقية منظومة الاكتشاف.
استخدم السياسة مع التسليم التقني والتدقيق المحدد النطاق ونموذج الاكتشاف وقياس النتائج، بدلاً من معاملتها كحيلة مستقلة للترتيب.أسئلة / إجابات دقيقة
ما الذي تستطيع ضوابط الزحف تقريره، وما الذي لا تستطيع
01هل أستطيع السماح لـ ChatGPT Search ومنع تدريب نماذج OpenAI؟+
توثّق OpenAI الوكيلين OAI-SearchBot وGPTBot كضابطين مستقلين. يستطيع الناشر السماح للأول من أجل Search ومنع الثاني للتعبير عن تفضيل مختلف بشأن التدريب. ويبقى التحقق من الشبكة الحية واستجابة الصفحة ضرورياً.
02هل يؤدي منع Google-Extended إلى حذف موقعي من بحث Google؟+
تقول Google إنه لا يفعل ذلك. Google-Extended رمز مستقل للتحكم في بعض استخدامات تدريب Gemini وعمليات grounding، ولا يؤثر في الإدراج أو الترتيب ضمن بحث Google. يظل Googlebot هو زاحف البحث المعني.
03هل تضمن قاعدة Allow أن يستشهد الذكاء الاصطناعي بالموقع؟+
لا. قد تزيل حاجز وصول واحداً فقط. الزيارة الحقيقية والفهرسة أو الجلب والاختيار كمادة grounding والاستشهاد والتوصية أحداث لاحقة ومنفصلة.
04هل يكفي robots.txt لحماية المحتوى الخاص؟+
لا. إنه ملف لتفضيلات الزحف وليس نظام تفويض. تحتاج الصفحات والملفات وواجهات API الخاصة إلى المصادقة والتفويض وضوابط مناسبة في التطبيق أو الشبكة.
05كيف أعرف أن الطلب جاء من زاحف حقيقي؟+
لا تعتمد على نص User-Agent وحده. استخدم نطاقات IP الحالية أو نقطة التحقق أو طريقة DNS العكسية والأمامية التي يحددها المزوّد، ثم احتفظ بالتاريخ والنتيجة مع دليل الطلب.
قائمة تحقق عملية
- وثّق غرض كل قاعدة زحف
- افصل استرجاع البحث عن تفضيل التدريب
- اختبر الاستجابة الحية باستخدام هوية الزاحف المنشورة
- راجع الوثائق الرسمية بعد أي تغيير في المنصة
المصادر الرسمية
- Google Search CentralAI features and your website↗
- Google Search CentralGoogle's common crawlers↗
- Google Search CentralIntroduction to robots.txt↗
- OpenAIOverview of OpenAI crawlers↗
- Anthropic Help CenterAnthropic web crawlers↗
- Perplexity DocsPerplexity crawlers↗
- Microsoft Bing Webmaster ToolsWhich crawlers does Bing use?↗
- Microsoft Bing Webmaster BlogIntroducing AI Performance in Bing Webmaster Tools↗
- Yandex WebmasterYandex robot user agents↗