كيفية إتاحة موقعك لبرامج زحف البحث في ChatGPT وClaude وPerplexity

أنشأت موقعًا إلكترونيًا أو منتجًا، لكن عندما يسأل أحدهم: «اقترح خدمة لهذه المهمة»، لا يذكره ChatGPT أو Claude أو Perplexity. يجدر التحقق مما إذا كان المساعد يستطيع قراءة موقعك وما إذا كان الوصول محظورًا.

لا يوجد زر «للظهور في إجابة من الذكاء الاصطناعي»، ولا يستطيع أحد ضمان اقتباس موقعك. لدى ChatGPT وClaude وPerplexity برامج زحف منفصلة للبحث: يمكنك السماح لها بالوصول إلى موقعك عبر robots.txt. ثم تحقّق مما إذا كان بإمكانها الوصول إلى نص الصفحة وما إذا كانت إعدادات أمان موقعك تعيق ذلك.

ماذا يعني أن يكون موقعك «مرئيًا للذكاء الاصطناعي»؟#

عندما يسأل أحدهم ChatGPT أو Perplexity: «أين يمكنني القراءة عن X؟» أو «أي خدمة ينبغي أن أختار؟»، يبحث المساعد أحيانًا في الويب ويضيف روابط إلى الصفحات. لكي تُدرج صفحتك ضمن قائمة الخيارات، يجب أن يكون برنامج زحف المساعد قد قرأها وألا يكون قد مُنع من الوصول إليها.

هناك ثلاثة أمور ينبغي التحقق منها في موقعك:

• أن يتمكن برنامج الزحف من الوصول إلى الموقع، أي ألا يكون محظورًا في robots.txt وألا تمنعه تدابير الأمان من الوصول؛
• أن يتمكن برنامج الزحف من رؤية نص الصفحة، لا مجرد هيكل فارغ يملؤه المتصفح؛
• أن تجيب الصفحة عن سؤال محدد بصدق ووضوح، بدلًا من استبدال الإجابة بقائمة من الكلمات المفتاحية.

ابدأ بالتحقق من الوصول: إذا لم يتمكن برنامج الزحف من قراءة الصفحة، فلن يتمكن من الحصول على النص المفيد الموجود فيها أيضًا.

ما الفرق بين برنامج زحف البحث وبرنامج زحف التدريب؟#

ينبغي السماح لكل برنامج زحف أو حظره على حدة. فالقرار العام «السماح للذكاء الاصطناعي بدخول الموقع» لا يراعي اختلاف المهام بين هذه البرامج.

• برنامج زحف البحث يتيح ظهور صفحاتك في إجابات المساعد عندما يطرح المستخدم سؤالًا. اسمح به إذا أردت إتاحة موقعك للبحث.
• برنامج زحف التدريب يجمع نصوصًا قد تُستخدم لتدريب إصدارات مستقبلية من النموذج. يعود قرار السماح به إليك؛ ولا يؤثر مباشرةً في ظهور موقعك ضمن إجابات البحث الحالية.

تقدم وثائق OpenAI مثالًا على ذلك: يمكنك السماح لبرنامج زحف البحث بالزحف إلى موقعك مع حظر برنامج زحف التدريب، حتى لا تُستخدم نصوص موقعك في التدريب. يُضبط هذان الخياران بشكل مستقل في الملف نفسه.

ما أسماء برامج زحف ChatGPT وClaude وPerplexity؟#

لضبط الوصول، تحتاج إلى أسماء برامج الزحف الدقيقة (user-agent) التي تحددها في robots.txt. يسرد الجدول الأسماء والوظائف وفقًا للوثائق الرسمية لكل مطوّر، وذلك حتى سبتمبر 2026.

تزور برامج الزحف ChatGPT-User وClaude-User وPerplexity-User الصفحة بناءً على طلب شخص أثناء محادثة، لكن قواعد الوصول تختلف باختلاف المطوّر. تقول OpenAI إن قواعد robots.txt قد لا تنطبق على ChatGPT-User. وتقول Perplexity إن Perplexity-User يتجاهلها عادةً لأن المستخدم هو من بدأ الزيارة. وتتحكم Anthropic في وصول Claude-User عبر robots.txt: إذا حظرته هناك، فلن يجلب Claude الصفحات استجابةً لطلبات المستخدمين. ويُضبط الوصول لبرامج زحف البحث بشكل منفصل.

لا يملك Google-Extended سطر user-agent خاصًا به عند الزحف؛ فهو مجرد رمز تحكم في robots.txt. ويحدد ما إذا كان يجوز استخدام محتواك للذكاء الاصطناعي التوليدي من Google، ولا يؤثر في بحث Google العادي.

إذا أردت إنشاء موقع ذي بنية واضحة ونص يسهل الوصول إليه، ففكّر في كيفية تنظيم المعلومات.

كيفية السماح لبرامج الزحف في robots.txt: خطوة بخطوة#

robots.txt ملف نصي عادي في جذر موقعك، ويمكن الوصول إليه عبر عنوان مثل https://example.com/robots.txt. تقرأه برامج الزحف قبل الزحف وتتبع تعليماته، مع الاستثناءات المتعلقة بالزيارات التي تتم بناءً على طلب المستخدم، والمذكورة أعلاه.

1. افتح ملفك الحالي. أدخل عنوان موقعك في المتصفح وأضف /robots.txt. راجع ما هو موجود في الملف بالفعل، وتحقق مما إذا كانت برامج الزحف التي تحتاج إليها محظورة عن طريق الخطأ بسطر Disallow: /. وابحث أيضًا عن أسطر Disallow: الخاصة بالمناطق المقيدة، مثل صفحات الحساب والدفع وقسم الإدارة؛ فستحتاج إليها في الخطوة التالية.
2. أضف مجموعة لبرامج زحف البحث التابعة للمساعدات. تحدد كل مجموعة اسم برنامج زحف وقواعد الوصول. للسماح بالزحف، استخدم Allow: /. يتبع برنامج الزحف القواعد الموجودة في المجموعة التي يُذكر فيها اسمه بشكل منفصل؛ ولا يأخذ القواعد من المجموعة العامة User-agent: *. ولا تنطبق القيود الموجودة في User-agent: * وحدها على ذلك البرنامج. إذا كانت لديك مناطق مقيدة، فكرّر أسطر Disallow: نفسها في كل مجموعة جديدة، وإلا فستكون هذه المناطق متاحة لبرنامج الزحف.
3. اتخذ قرارًا منفصلًا بشأن برامج زحف التدريب. إذا لم ترد استخدام النصوص في التدريب، فاضبط Disallow: / لكل من GPTBot وClaudeBot. لن يؤثر ذلك في الظهور ضمن نتائج البحث.
4. احفظ الملف في جذر موقعك وتحقق من أنه يُفتح على /robots.txt. إذا كانت لديك نطاقات فرعية، مثل blog.example.com، فيحتاج كل منها إلى ملفه الخاص؛ إذ تقرأ برامج الزحف الملف الخاص بكل نطاق فرعي.

قبل نسخ المثال، تحقّق من القيود الخاصة بالمناطق المقيدة. إذا أبقيت Disallow: /dashboard/ في User-agent: * وحده، فلن ينطبق على OAI-SearchBot الذي لديه مجموعة خاصة به. أدرج المسارات المقيدة في كل مجموعة تسمح فيها لبرنامج زحف بالزحف.

في المثال أدناه، يُسمح لبرامج زحف البحث التابعة للمساعدات، لكن تُحظر المنطقة المقيدة /dashboard/ مباشرةً ضمن مجموعاتها؛ أما برامج زحف التدريب فتحظر كليًا. حظر برامج زحف التدريب اختياري؛ فالقرار يعود إليك، وينبغي استبدال قائمة المسارات المقيدة بمساراتك الخاصة.

# Allow assistants' search crawlers, but block restricted areas
User-agent: OAI-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: Claude-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: PerplexityBot
Allow: /
Disallow: /dashboard/

# Block training crawlers (optional)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# The sitemap helps crawlers find all pages
Sitemap: https://example.com/sitemap.xml

وفقًا لوثائق OpenAI وPerplexity، قد تحتاج أنظمتهما إلى نحو يوم لاستيعاب تغييرات robots.txt. لا تتوقع ظهور أثر فوري بعد حفظ الملف.

كيف يبدو ذلك على موقع فعلي؟#

في المثال الموصوف لإعدادات robots.txt، تُجمع أسماء برامج زحف المساعدات في مجموعة واحدة، ومنها GPTBot وChatGPT-User وOAI-SearchBot وClaudeBot وPerplexityBot وPerplexity-User وGoogle-Extended وغيرها. وتأتي بعدها Allow: / وأسطر Disallow: نفسها الخاصة بالمناطق المقيدة الموجودة في المجموعة العامة User-agent: *: /dashboard/ و/admin/ و/login و/account/ و/order/ وغيرها. وتُدرج عناوين URL الخاصة بخريطة الموقع في نهاية الملف باستخدام التوجيه Sitemap:.

تُكرر القيود في مجموعة برامج زحف المساعدات كي تُحظر المناطق المقيدة عنها أيضًا. يمكنك فتح ملف /robots.txt لأي موقع والاطلاع على إعداده؛ فالملف متاح للعامة دائمًا.

ما الأمور الأخرى التي تساعد برامج الزحف على فهم الموقع؟#

حتى عندما يُسمح بالزحف، قد لا يتمكن برنامج الزحف من الحصول على محتوى الصفحة. وإلى جانب قواعد الوصول، تحقّق من طريقة تقديم الموقع للنصوص ومن كيفية مساعدة الأشخاص على العثور على محتواه.

• النص متاح فورًا. إذا كانت النصوص البرمجية تعرض محتوى الصفحة في المتصفح، فسترى بعض برامج الزحف هيكلًا فارغًا. للتحقق، افتح الصفحة واختر «عرض مصدر الصفحة» وابحث عن نصك. إذا لم تجده في المصدر وظهر فقط في العرض العادي للصفحة، فعليك التحقق من طريقة تقديم الصفحة.
• توجد خريطة للموقع. ملف sitemap.xml قائمة بجميع صفحاتك. ويساعد برامج الزحف على عدم تفويت أي محتوى. أضف رابطًا إليه في robots.txt باستخدام سطر Sitemap:.
• الإجابة واضحة للقارئ. تبحث برامج زحف المساعدات عن الصفحات التي تجيب عن سؤال. ويكون العنوان الواضح، والإجابة الموجزة في البداية، والعبارات الصادقة أكثر فاعلية من قائمة الكلمات المفتاحية.

لماذا قد يكون الموقع غير مرئي للذكاء الاصطناعي؟#

إذا لم يظهر موقعك في الإجابات، فتحقّق من عوائق الوصول المحتملة التالية.

• برنامج الزحف محظور في robots.txt. قد يحتوي الملف أحيانًا على قيد عام يحظر برامج الزحف التي تحتاج إليها. تحقّق من وجود Disallow: / في مجموعة تنطبق على برامج زحف المساعدات.
• النص غير ظاهر من دون متصفح. إذا كانت النصوص البرمجية تُنشئ المحتوى، فقد لا يتمكن برنامج الزحف من الحصول عليه. وقد شُرح أعلاه كيفية التحقق من الشيفرة المصدرية.
• إعدادات أمان الموقع تحظر برامج الزحف. تستخدم مواقع كثيرة وسائل حماية من الزيارات غير المرغوب فيها، مثل Cloudflare. وقد تمنع هذه الوسائل الوصول بصرف النظر عن robots.txt. تستخدم robots.txt للتحكم في الأماكن التي يمكن لبرنامج الزحف زيارتها، بينما تقرر إعدادات أمان الموقع ما إذا كان طلبه سيمر. توصي Perplexity بالسماح يدويًا لبرامج الزحف في إعدادات الأمان، باستخدام أسماء user-agent وعناوين IP المنشورة. اضبط قواعد الزحف عبر robots.txt: وتحذر Anthropic بشكل منفصل من أن حظر برامج الزحف باستخدام عناوين IP فقط غير موثوق. إذا كنت تستخدم خدمة مشابهة، فتحقّق من إعداداتها.

تحقّق من الأسباب واحدًا تلو الآخر: ابدأ بـ robots.txt، ثم راجع الشيفرة المصدرية للصفحة، وبعدها تحقّق من إعدادات الأمان. عدم وجود هذه العوائق وحده لا يضمن ظهور موقعك في الإجابات.

كيف يمكنك التحقق مما إذا كان برنامج الزحف قد وصل إلى الصفحة؟#

يساعد هذا التحقق على تقييم إمكانية الوصول إلى موقعك والعثور على سجلات زيارات برامج الزحف.

• افتح https://example.com/robots.txt في المتصفح؛ ينبغي أن يُفتح الملف وأن يحتوي على المجموعات المطلوبة.
• افتح خريطة الموقع على https://example.com/sitemap.xml؛ ينبغي أن تُفتح وتسرد الصفحات.
• اعرض الشيفرة المصدرية لصفحة مهمة وابحث فيها عن نصك.
• إذا كان لديك وصول إلى سجلات الخادم، فابحث فيها عن أسماء برامج الزحف، مثل OAI-SearchBot وPerplexityBot وغيرها. تظهر زياراتها حسب user-agent.

لن يبيّن هذا التحقق ما إذا كان المساعد سيختار صفحتك تحديدًا. فهذا يعتمد على سؤال المستخدم ومدى جودة إجابة الصفحة عنه.

ما الذي لا تضمنه الإعدادات؟#

يختلف تمكين الوصول إلى موقعك عن ظهوره في إجابة المساعد. لهذه الإعدادات حدود.

• الاقتباس غير مضمون. يتيح السماح بالوصول لبرنامج الزحف فرصة قراءة موقعك فحسب. أما قرار الاقتباس منك فيعود إلى المساعد ويعتمد على السؤال.
• لا أحد يضمن ترتيبًا أو زيارات. يفتح إعداد robots.txt الوصول، لكنه لا يضمن مكانًا في نتائج البحث.
• قد تتجاهل بعض برامج الزحف قواعد الملف. ينطبق ذلك على بعض البرامج التي تزور الموقع استجابةً لطلب مباشر من المستخدم، مثل ChatGPT-User من OpenAI وPerplexity-User من Perplexity.
• القواعد تتغير. يحدّث المطوّرون أسماء برامج الزحف والشروط. يجدر بك مراجعة الوثائق كل بضعة أشهر؛ تجد الروابط في نهاية المقال.

تتحكم في الوصول وجودة موقعك، لكن المساعد هو من يقرر ما إذا كان سيُدرج رابطًا. تهدف هذه الإعدادات إلى إتاحة صفحة مفيدة للبحث والقراءة، من دون محاولة «خداع» المساعد.

ما الخطوة التالية؟#

افتح robots.txt، وأضف برامج زحف البحث التابعة للمساعدات، وتحقّق من خريطة الموقع ومن إتاحة النص. إذا كانت إعدادات الأمان تحظر الوصول، فتحقّق منها أيضًا. تساعد هذه الإجراءات على تحديد العوائق التقنية وإزالتها. ثم راجع الصفحات نفسها: هل تقدم إجابات واضحة عن أسئلة محددة يطرحها جمهورك؟