يوماً ما فتحت لوحة تحكم Cloudflare الخاصة بموقعي، ووجدت قائمة طويلة من الـ Bots، وهي زواحف آلية تحاول زيارة الموقع باستمرار. بعضها مفيد جداً يجلب لك زواراً وظهوراً في محركات البحث، وبعضها لا يستحق ثانية من وقت السيرفر ويجمع محتواك لتدريب نماذج AI دون أي مقابل.
في هذا الدليل أشارك كل ما تعلمته: ما هي هذه الزواحف، من يرسلها، وكيف تقرر لكل واحدة: تسمح أو تحظر.
كيف تصل إلى هذه الإعدادات؟
الفيديو التالي يوضح الخطوات بالكامل، من فتح Cloudflare حتى تغيير إعداد أي زاحف:
إذا كنت تستخدم Cloudflare لموقعك، الوصول للإعدادات يأخذ أقل من دقيقة:
- الخطوة الأولى: اذهب إلى dash.cloudflare.com واختر موقعك
- الخطوة الثانية: من القائمة الجانبية اختر AI Crawl Control
- الخطوة الثالثة: من القائمة الفرعية اختر Security
- الخطوة الرابعة: ستجد جدول بكل الزواحف مع عمود Block Crawler على اليمين، ومن هنا تتحكم في كل واحدة
كيف تقرأ الـ Toggle؟
العمود الأخير اسمه Block Crawler، والمنطق عكسي مما قد تتوقع:
- أزرق = محظور 🚫 الزاحف لا يستطيع الوصول لموقعك
- رمادي = مسموح ✅ الزاحف يستطيع زيارة موقعك بحرية
واجهة Cloudflare تُظهر قائمة الزواحف وحالة كل Toggle
✅ اسمح بهم (هؤلاء يفيدونك)
الأهم على الإطلاق. بدونه موقعك لن يظهر في نتائج Google. حظره يعني الاختفاء من محرك البحث الأكبر في العالم. لا تحظره أبداً.
يُغذّي محرك Bing وكذلك Copilot من Microsoft. مهم للظهور في النظام الكامل لـ Microsoft.
مختلف عن GPTBot، فهو مخصص لـ ChatGPT Search ويجلب زواراً فعليين لموقعك عندما يبحث المستخدمون في ChatGPT.
يُستخدم عندما يبحث Claude في الإنترنت، والسماح له يعني ظهور موقعك كمصدر في إجابات Claude.
محرك بحث AI يستخدمه الملايين يومياً. السماح له يجعل موقعك مصدراً في نتائجه المباشرة.
يُفضّله كثيرون لأسباب الخصوصية. الظهور فيه يجلب شريحة من المستخدمين المهتمين بالخصوصية.
يُغذّي Spotlight Search وSiri وApple Intelligence. مفيد إذا كان جمهورك يستخدم أجهزة Apple.
زاحف Cloudflare الداخلي، لا تحظره أبداً لأنه جزء من البنية التحتية للخدمة نفسها.
🚫 احظرهم (لا فائدة منهم)
يجمع بياناتك لتدريب نماذج ChatGPT. لا يجلب لك أي زائر. فرّق بينه وبين OAI-SearchBot، فذاك مفيد وهذا لا.
يجمع بيانات ضخمة تُستخدم لتدريب معظم نماذج الذكاء الاصطناعي الكبيرة. لا فائدة مباشرة لموقعك.
كلهم يجمعون البيانات لمنظومة Meta AI. لا يُغذّون أي محرك بحث ولا يجلبون زواراً.
شركة TikTok الأم تجمع بيانات لتدريب نماذجها. لا فائدة لمواقع المستقلين والمدونات منها.
محرك البحث الخاص بـ Huawei غير شائع خارج الصين. لا يستحق موارد سيرفرك.
Novellum AI Crawl، ProRataInc، Terracotta Bot، Timpibot، Manus Bot، Anchor Browser، Arquivo، Amazonbot، كلها من شركات صغيرة تستهلك bandwidth دون أي فائدة.
🤔 اختياري (حسب هدفك)
يسمح لـ ChatGPT بقراءة موقعك عند الحاجة. مفيد إذا أردت أن يظهر موقعك كمصدر في محادثات ChatGPT مباشرةً.
نموذج AI أوروبي متنامٍ. السماح له يوسّع انتشار موقعك في منظومة AI الأوروبية.
زاحف Google AI منفصل عن Googlebot، يُغذّي Gemini وخدمات Google AI.
Wayback Machine يحفظ نسخاً من موقعك عبر الزمن. مفيد للأرشفة التاريخية لكن ليس ضرورياً.
الخلاصة
موقعك يستحق أن يُرى، فتأكد أن الأبواب الصحيحة مفتوحة.