إجابة مباشرة
يحدث الزحف عندما تكتشف أداة آلية أو روبوت عنوان URL، وتطلبه، وتحاول استرجاع المحتوى الذي يقدمه. وإذا تعذر على النظام الوصول إلى الصفحة الصحيحة، فلن يستطيع استخدام معلوماتها الحالية. ومع ذلك، لا يضمن الوصول الفهرسة أو الاستشهاد أو التوصية.
بلغة بسيطة
افترض أن المعلومة الصحيحة مكتوبة على باب متجر. لن يقرأها الزائر إذا لم يعثر على الشارع، أو كان الباب مغلقاً، أو منعه الأمن خطأً. وحتى الوصول إلى الباب لا يعني أنه سيشتري.
لماذا يهم؟
قد يجعل حاجز الوصول محتوى ممتازاً غير مرئي. لكن الحل المعاكس، أي إزالة الحماية والسماح لكل روبوت بوصول غير مقيد، خاطئ أيضاً. يجب إدارة أغراض الزواحف وأذوناتها كلّاً على حدة.
لا تخلط
- الزحف: زيارة عنوان URL وطلب محتواه.
- الفهرسة: معالجة المحتوى وتحويله إلى سجل قابل للبحث.
- الاسترجاع: اختيار سجل ملائم لسؤال معين.
- التدريب: عملية لتطوير النموذج، وليس هو الزحف.
ماذا تفعل؟
- اختبر الوصول المجهول ورموز حالة HTTP لعناوين URL المهمة.
- راجع robots.txt والجدار الناري وحدود معدل الطلب والتحقق من الروبوتات كلّاً على حدة.
- اعتمد فقط على وثائق المزود الرسمية والحديثة في أسماء الروبوتات وأغراضها.
- لا تعامل الوصول للبحث والوصول للتدريب على أنهما سياسة واحدة.
- صمّم سماحاً محدوداً للروبوتات المتحقق منها بدلاً من إزالة قاعدة أمنية.
كيف تدقّق؟
- هل يعيد عنوان URL الحالة 200 مع المحتوى الفعلي؟
- ماذا يقول robots.txt لوكيل المستخدم المعني؟
- هل تحجب شبكة توصيل المحتوى أو طبقة الأمان روبوتاً متحققاً منه؟
- هل اختُبرت أسطح HTML وPDF وJSON كلّاً على حدة؟
- هل سُجلت النتيجة مع التاريخ وسياق عنوان IP أو الوكيل ونص الاستجابة؟
الحد
قد يكون وصول الزاحف شرطاً لازماً، لكنه لا يضمن الفهرسة أو الاسترجاع أو الاستشهاد أو التدريب أو التوصية. ويمكن أن تتغير أسماء الروبوتات وسياسات المزودين بمرور الوقت.
تذكّر في جملة
الوصول إلى الباب هو الخطوة الأولى؛ أما الدخول والاختيار فخطوتان مختلفتان.
مصادر هذا السجل
- S03Google Search Central, *Overview of Crawling and Indexing*وثائق مزود
- S04Google Search Central, *Block Search Indexing with noindex*وثائق مزود
- S09OpenAI, *Overview of OpenAI Crawlers*وثائق مزود
- S10Anthropic, *Does Anthropic Crawl Data from the Web?*وثائق مزود