איך לאפשר לכלי הסריקה של ChatGPT, Claude ו-Perplexity לחיפוש גישה לאתר שלכם

בניתם אתר או מוצר, אבל כשמישהו שואל „תמליצו על שירות למשימה הזאת”, ChatGPT, Claude ו-Perplexity לא מזכירים אותו. כדאי לבדוק אם עוזר יכול לקרוא את האתר שלכם ואם הגישה חסומה.

אין כפתור „להיכנס לתשובה של AI”, ואיש אינו יכול להבטיח שיופיע ציטוט. ל-ChatGPT, ל-Claude ול-Perplexity יש כלי סריקה נפרדים לחיפוש: תוכלו לאפשר להם לגשת לאתר שלכם באמצעות robots.txt. לאחר מכן בדקו אם הם יכולים לגשת לטקסט בדף ואם האבטחה של האתר שלכם מפריעה.

מה פירוש הדבר להיות „גלויים ל-AI”?#

כשמישהו שואל את ChatGPT או את Perplexity „איפה אפשר לקרוא על X?” או „באיזה שירות כדאי לבחור?”, העוזר מחפש לפעמים באינטרנט ומוסיף קישורים לדפים. כדי שהדף שלכם ייכלל ברשימת המועמדים הזאת, כלי הסריקה של העוזר צריך לקרוא אותו ולא להיתקל בסירוב גישה.

יש שלושה דברים שצריך לבדוק באתר שלכם:

• כלי הסריקה יכול לגשת לאתר: הוא אינו חסום ב-robots.txt, ואמצעי האבטחה אינם מונעים את הגישה;
• כלי הסריקה יכול לראות את הטקסט בדף, ולא רק מעטפת ריקה שהדפדפן ממלא;
• הדף עונה על שאלה מסוימת בכנות ובבהירות, במקום להחליף תשובה ברשימת מילות מפתח.

התחילו בגישה: אם כלי הסריקה לא הצליח לקרוא את הדף, הוא גם לא יקבל את הטקסט המועיל שבו.

במה שונה כלי סריקה לחיפוש מכלי סריקה לאימון?#

יש לאפשר או לחסום גישה בנפרד לכל כלי סריקה. החלטה כללית „לאפשר ל-AI להיכנס לאתר” אינה מביאה בחשבון את ההבדלים בין המשימות שלהם.

• כלי סריקה לחיפוש מאפשר לדפים שלכם להופיע בתשובות העוזר כשמשתמש שואל שאלה. אפשרו לו גישה אם אתם רוצים שהאתר שלכם יהיה זמין לחיפוש.
• כלי סריקה לאימון אוסף טקסט שעשוי לשמש לאימון גרסאות עתידיות של מודל. ההחלטה אם לאפשר לו גישה נתונה לכם; אין לכך השפעה ישירה על הופעת האתר שלכם בתשובות חיפוש נוכחיות.

בתיעוד של OpenAI מופיעה דוגמה: תוכלו לאפשר לכלי סריקה לחיפוש לסרוק את האתר, ובו בזמן לחסום את כלי הסריקה לאימון, כך שטקסט האתר לא ישמש לאימון. שתי ההגדרות האלה נקבעות בנפרד באותו קובץ.

מה שמות כלי הסריקה של ChatGPT, Claude ו-Perplexity?#

כדי להגדיר גישה, צריך את השמות המדויקים של כלי הסריקה (user-agent), שאותם מציינים ב-robots.txt. הטבלה מציגה את השמות ואת מטרותיהם לפי התיעוד הרשמי של כל מפתחת, נכון לספטמבר 2026.

כלי הסריקה ChatGPT-User, ‏Claude-User ו-Perplexity-User מבקרים בדף בעקבות בקשת אדם בשיחה, אך לכל מפתחת יש כללי גישה שונים. OpenAI מציינת שכללי robots.txt עשויים שלא לחול על ChatGPT-User. Perplexity מציינת ש-Perplexity-User בדרך כלל מתעלם מהם, משום שהביקור יזום על ידי המשתמש. Anthropic שולטת בגישה של Claude-User באמצעות robots.txt: אם תחסמו אותו שם, Claude לא ישלוף דפים בתגובה לבקשות משתמשים. הגישה לכלי הסריקה לחיפוש מוגדרת בנפרד.

ל-Google-Extended אין שורת user-agent משלו בזמן הסריקה — זהו אסימון בקרה בלבד ב-robots.txt. הוא קובע אם אפשר להשתמש בתוכן שלכם לצורכי AI גנרטיבי של Google, ואינו משפיע על Google Search הרגיל.

אם אתם רוצים לבנות אתר עם מבנה ברור וטקסט נגיש, חשבו כיצד לארגן את המידע.

איך לאפשר לכלי סריקה גישה ב-robots.txt: שלב אחר שלב#

robots.txt הוא קובץ טקסט פשוט בשורש האתר, הזמין בכתובת כגון https://example.com/robots.txt. כלי הסריקה קוראים אותו לפני הסריקה ופועלים לפי ההוראות שבו, למעט החריגים הנוגעים לביקורים בעקבות בקשת משתמש, שתוארו למעלה.

1. פתחו את הקובץ הנוכחי. הזינו את כתובת האתר בדפדפן והוסיפו /robots.txt. בדקו מה כבר נמצא בקובץ ואם כלי הסריקה הדרושים לכם נחסמו בטעות באמצעות שורת Disallow: /. חפשו גם שורות Disallow: לאזורים מוגבלים — דפי חשבון, דפי תשלום, אזור הניהול: תצטרכו אותן בשלב הבא.
2. הוסיפו קבוצה לכלי הסריקה של העוזרים לחיפוש. כל קבוצה מציינת שם של כלי סריקה וכללי גישה. כדי לאפשר סריקה, השתמשו ב-Allow: /. כלי סריקה פועל לפי הכללים בקבוצה שבה שמו מצוין בנפרד; הוא אינו מקבל כללים מקבוצת User-agent: * הכללית. הגבלות שמופיעות רק בקבוצת User-agent: * אינן חלות על אותו כלי סריקה. אם יש לכם אזורים מוגבלים, חזרו על אותן שורות Disallow: בכל קבוצה חדשה, אחרת הם יהיו פתוחים לכלי הסריקה הזה.
3. קבלו החלטה נפרדת לגבי כלי סריקה לאימון. אם אינכם רוצים שהטקסט ישמש לאימון, הגדירו Disallow: / עבור GPTBot ו-ClaudeBot. הדבר לא ישפיע על הנראות בחיפוש.
4. שמרו את הקובץ בשורש האתר ובדקו שהוא נפתח בכתובת /robots.txt. אם יש לכם תת-דומיינים (למשל, blog.example.com), כל אחד מהם צריך קובץ משלו — כלי הסריקה קוראים את הקובץ ששייך לכל תת-דומיין.

לפני שתעתיקו את הדוגמה, בדקו את ההגבלות לאזורים מוגבלים. אם תשאירו את Disallow: /dashboard/ רק ב-User-agent: *, הוא לא יחול על OAI-SearchBot, שיש לו קבוצה משלו. ציינו נתיבים מוגבלים בכל קבוצה שבה אתם מאפשרים לכלי סריקה לסרוק.

בדוגמה שלהלן מותר לכלי הסריקה של העוזרים לחיפוש לסרוק, אך האזור המוגבל /dashboard/ חסום ישירות בקבוצות שלהם; כלי הסריקה לאימון חסומים לחלוטין. חסימת כלי הסריקה לאימון היא רשות — זו החלטה שלכם, ועליכם להחליף את רשימת הנתיבים המוגבלים בנתיבים שלכם.

# אפשרו לכלי הסריקה של העוזרים לחיפוש, אך חסמו אזורים מוגבלים
User-agent: OAI-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: Claude-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: PerplexityBot
Allow: /
Disallow: /dashboard/

# חסמו את כלי הסריקה של האימון (לא חובה)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# מפת האתר עוזרת לכלי הסריקה למצוא את כל הדפים
Sitemap: https://example.com/sitemap.xml

לפי התיעוד של OpenAI ושל Perplexity, ייתכן שהמערכות שלהן זקוקות ליום בערך כדי להביא בחשבון שינויים ב-robots.txt. אל תצפו להשפעה מיידית לאחר שמירת הקובץ.

איך זה נראה באתר פעיל?#

בדוגמה המתוארת להגדרות robots.txt, שמות כלי הסריקה של העוזרים — GPTBot,‏ ChatGPT-User,‏ OAI-SearchBot,‏ ClaudeBot,‏ PerplexityBot,‏ Perplexity-User,‏ Google-Extended ואחרים — מרוכזים בקבוצה אחת. מתחתיהם מופיעים Allow: / ואותן שורות Disallow: לאזורים מוגבלים כמו בקבוצת User-agent: * הכללית: /dashboard/,‏ /admin/,‏ /login,‏ /account/,‏ /order/ ואחרים. כתובות ה-URL של מפת האתר מופיעות בסוף הקובץ באמצעות ההנחיה Sitemap:.

ההגבלות חוזרות בקבוצת כלי הסריקה של העוזרים, כדי שגם הם לא יוכלו לגשת לאזורים המוגבלים. תוכלו לפתוח את /robots.txt של כל אתר ולראות כיצד הוא מוגדר — הקובץ תמיד ציבורי.

מה עוד עוזר לכלי סריקה להבין אתר?#

גם כשסריקה מותרת, ייתכן שכלי הסריקה לא יקבל את תוכן הדף. לצד כללי הגישה, בדקו כיצד האתר מציג טקסט וכיצד הוא עוזר לאנשים למצוא את התוכן שבו.

• הטקסט זמין מיד. אם סקריפטים מציגים את תוכן הדף בדפדפן, חלק מכלי הסריקה יראו מעטפת ריקה. כדי לבדוק, פתחו את הדף, בחרו „הצגת מקור הדף” וחפשו את הטקסט שלכם. אם הוא אינו מופיע שם ונראה רק בתצוגת הדף הרגילה, צריך לבדוק כיצד הדף מוגש.
• יש מפת אתר. הקובץ sitemap.xml הוא רשימה של כל הדפים שלכם. הוא עוזר לכלי הסריקה שלא להחמיץ תוכן. הוסיפו אליו קישור ב-robots.txt באמצעות שורת Sitemap:.
• התשובה ברורה לאדם. כלי הסריקה של העוזרים מחפשים דפים שעונים על שאלה. כותרת ברורה, תשובה קצרה בתחילת הדף וניסוח כן מועילים יותר מרשימת מילות מפתח.

למה אתר עשוי להיות בלתי נראה ל-AI?#

אם האתר שלכם אינו מופיע בתשובות, בדקו את מחסומי הגישה האפשריים האלה.

• כלי הסריקה חסום ב-robots.txt. לפעמים הקובץ מכיל הגבלה כללית שחוסמת את כלי הסריקה הדרושים לכם. בדקו אם יש Disallow: / בקבוצה שחלה על כלי הסריקה של העוזרים.
• הטקסט אינו גלוי בלי דפדפן. אם סקריפטים יוצרים את התוכן, ייתכן שכלי הסריקה לא יקבל אותו. בדיקת קוד המקור מתוארת למעלה.
• אבטחת האתר חוסמת כלי סריקה. אתרים רבים משתמשים בהגנה מפני תעבורה לא רצויה — למשל, Cloudflare. היא עלולה לחסום גישה בלי קשר ל-robots.txt. אתם משתמשים ב-robots.txt כדי לקבוע לאן כלי סריקה רשאי להגיע, ואילו אבטחת האתר קובעת אם להעביר את הבקשה שלו. Perplexity ממליצה לאפשר כלי סריקה ידנית בהגדרות האבטחה לפי שמות ה-user-agent שלהם וכתובות ה-IP שפורסמו. הגדירו את כללי הסריקה באמצעות robots.txt: Anthropic מזהירה בנפרד שחסימת כלי סריקה לפי כתובת IP בלבד אינה אמינה. אם אתם משתמשים בשירות דומה, בדקו את ההגדרות שלו.

בדקו את הגורמים בזה אחר זה: התחילו ב-robots.txt, עברו לקוד המקור של הדף, ולאחר מכן בדקו את הגדרות האבטחה. היעדר המחסומים האלה כשלעצמו אינו מבטיח שהאתר שלכם יופיע בתשובות.

איך אפשר לבדוק אם כלי סריקה הגיע לדף?#

בדיקה זו עוזרת להעריך את נגישות האתר שלכם ולמצוא רישומים של ביקורי כלי סריקה.

• פתחו את https://example.com/robots.txt בדפדפן — הקובץ אמור להיפתח ולהכיל את הקבוצות הדרושות.
• פתחו את מפת האתר בכתובת https://example.com/sitemap.xml — היא אמורה להיפתח ולהציג רשימת דפים.
• הציגו את קוד המקור של דף חשוב וחפשו בו את הטקסט שלכם.
• אם יש לכם גישה ליומני השרת, חפשו בהם שמות של כלי סריקה — OAI-SearchBot,‏ PerplexityBot ואחרים. אפשר לראות את הביקורים שלהם לפי ה-user-agent.

בדיקה זו לא תראה אם העוזר יבחר דווקא בדף שלכם. הדבר תלוי בשאלת המשתמש ובמידת ההתאמה של הדף לתשובה.

מה ההגדרות אינן מבטיחות#

גישה לאתר והופעתו בתשובת עוזר הן תוצאות שונות. להגדרות האלה יש מגבלות.

• אין הבטחה לציטוט. גישה פתוחה רק נותנת לכלי סריקה הזדמנות לקרוא את האתר שלכם. ההחלטה אם העוזר יצטט אתכם תלויה בעוזר ובשאלה.
• איש אינו מבטיח דירוגים או תנועה. הגדרת robots.txt פותחת גישה, אך אינה מבטיחה מקום בתוצאות החיפוש.
• חלק מכלי הסריקה עשויים להתעלם מכללי הקובץ. הדבר חל על חלק מכלי הסריקה שמבקרים בתגובה לבקשת משתמש ישירה — למשל, ChatGPT-User של OpenAI ו-Perplexity-User של Perplexity.
• הכללים משתנים. המפתחות מעדכנים את שמות כלי הסריקה ואת התנאים. כדאי לבדוק את התיעוד מדי כמה חודשים; הקישורים נמצאים בסוף.

אתם שולטים בגישה ובאיכות האתר, אך העוזר מחליט אם לכלול קישור. מטרת ההגדרות האלה היא להנגיש דף מועיל לחיפוש ולקריאה, בלי לנסות „לתחמן” את העוזר.

מה הלאה#

פתחו את robots.txt, הוסיפו את כלי הסריקה של העוזרים לחיפוש ובדקו את מפת האתר ואת זמינות הטקסט. אם האבטחה חוסמת גישה, בדקו גם את ההגדרות שלה. פעולות אלה עוזרות לזהות ולהסיר מחסומים טכניים. לאחר מכן בדקו את הדפים עצמם: האם הם נותנים תשובות ברורות לשאלות מסוימות של הקהל שלכם?