ملف robots.txt في موقعك قد يحمل اليوم أسماء لا تعرفها: GPTBot وOAI-SearchBot وClaudeBot. بعضها يجمع نصوصك لتدريب النماذج، وبعضها يقرر أن يظهر موقعك في إجابات البحث. الفصل بينهما ممكن.
امنع GPTBot وClaudeBot وGoogle-Extended إن لم ترد أن يُستخدم محتواك في التدريب، واترك OAI-SearchBot وClaude-SearchBot مسموحين ليبقى موقعك مرشحًا للظهور في إجابات البحث. هذا بحسب وثائق الشركات الثلاث حتى 31 أكتوبر 2026.
User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: OAI-SearchBot Allow: / User-agent: Claude-SearchBot Allow: /
الكتل الثلاث الأولى للتدريب، والأخيرتان توضحان أنك تريد الظهور في البحث. حذف الأخيرتين لا يغيّر شيئًا في الأصل: ما لم تمنعه صراحة فهو مسموح.
## من يفعل ماذا؟ سبعة أسماء في جدول
| الزاحف | الجهة | وظيفته | إن حجبته |
|---|---|---|---|
| GPTBot | OpenAI | جمع محتوى قد يدخل تدريب النماذج | إشارة إلى ألا يُستخدم محتواك في التدريب |
| OAI-SearchBot | OpenAI | إظهار المواقع في بحث ChatGPT | تغيب عن إجابات البحث، وقد يبقى رابطًا للتنقل |
| ChatGPT-User | OpenAI | زيارة صفحة حين يطلبها مستخدم | قد لا تنطبق قواعد robots.txt لأن المستخدم هو من طلب الزيارة |
| ClaudeBot | Anthropic | جمع محتوى قد يسهم في التدريب | يُستبعد محتواك المستقبلي من بيانات التدريب |
| Claude-SearchBot | Anthropic | فهرسة المحتوى لتحسين نتائج البحث | قد تقل رؤيتك ودقة ظهورك في النتائج |
| Claude-User | Anthropic | جلب صفحة حين يسأل مستخدم سؤالًا يحتاج الويب | يمنع جلب محتواك لأسئلة المستخدمين |
| Google-Extended | رمز تحكم بلا وكيل مستخدم خاص به | يوقف استخدام محتواك في تدريب Gemini وفي التأريض، ولا يؤثر في ظهورك أو ترتيبك في بحث Google |
## كيف تطبّق التعديل؟
- افتح الملفيوجد robots.txt في جذر النطاق. وتقول Anthropic إن لكل نطاق فرعي ملفه الخاص.
- الصق الكتل التي تريدهاابدأ بالتدريب، ثم أضف البحث إن أردت أن تكون نيتك مكتوبة.
- تحقق من الملفافتح عنوان موقعك متبوعًا بـ /robots.txt وتأكد من ظهور الأسطر.
- انتظر التطبيقتذكر OpenAI أن تعديلات البحث قد تستغرق نحو 24 ساعة.
## أسئلة يطرحها أصحاب المواقع
هل يخفي حجب GPTBot موقعي من ChatGPT؟
لا. تقول OpenAI إن الإعدادات مستقلة: يمكنك السماح لـ OAI-SearchBot ومنع GPTBot. والظهور في البحث يحكمه OAI-SearchBot.
هل يضر Google-Extended بترتيبي في Google؟
لا بحسب وثائق Google: لا يؤثر في الإدراج في البحث ولا هو إشارة ترتيب.
هل أحجب ChatGPT-User أيضًا؟
لن يفيدك كثيرًا؛ تقول OpenAI إنه ليس وسيلة انسحاب عامة، وإن قواعد robots.txt قد لا تنطبق عليه.
القرار تجاري قبل أن يكون تقنيًا: إن كان جزء من زوارك يأتي من إجابات الذكاء الاصطناعي فلا تحجب كل شيء. وإن كانت لديك صفحة أعمال على فيسبوك، فاقرأ أيضًا ما تغيّر في شروط Meta عن جمع محتوى موقعك.
