วิธีเปิดเว็บไซต์ให้โปรแกรมรวบรวมข้อมูลการค้นหาของ ChatGPT, Claude และ Perplexity

คุณสร้างเว็บไซต์หรือผลิตภัณฑ์ขึ้นมา แต่เมื่อมีคนถามว่า “แนะนำบริการสำหรับงานนี้หน่อย” ChatGPT, Claude และ Perplexity กลับไม่พูดถึงเว็บไซต์ของคุณ ควรตรวจสอบว่าผู้ช่วย AI อ่านเว็บไซต์ของคุณได้หรือไม่ และมีการบล็อกการเข้าถึงหรือเปล่า

ไม่มีปุ่มสำหรับ “ทำให้ไปอยู่ในคำตอบของ AI” และไม่มีใครรับประกันได้ว่าจะมีการอ้างอิง ChatGPT, Claude และ Perplexity มีโปรแกรมรวบรวมข้อมูลสำหรับการค้นหาแยกกัน คุณสามารถอนุญาตให้โปรแกรมเหล่านี้เข้าถึงเว็บไซต์ได้ผ่าน robots.txt จากนั้นตรวจสอบว่าโปรแกรมเข้าถึงข้อความในหน้าเว็บได้หรือไม่ และระบบรักษาความปลอดภัยของเว็บไซต์ขัดขวางการเข้าถึงหรือเปล่า

การ “มองเห็นได้โดย AI” หมายความว่าอย่างไร#

เมื่อมีคนถาม ChatGPT หรือ Perplexity ว่า “จะอ่านเรื่อง X ได้ที่ไหน” หรือ “ควรเลือกบริการไหน” บางครั้งผู้ช่วยจะค้นหาเว็บและเพิ่มลิงก์ไปยังหน้าเว็บต่าง ๆ หากต้องการให้หน้าเว็บของคุณเป็นหนึ่งในตัวเลือกเหล่านั้น โปรแกรมรวบรวมข้อมูลของผู้ช่วยต้องอ่านหน้าเว็บได้และไม่ได้รับการปฏิเสธการเข้าถึง

มีสามสิ่งที่ควรตรวจสอบในเว็บไซต์ของคุณ:

• โปรแกรมรวบรวมข้อมูลเข้าถึงเว็บไซต์ได้ โดยไม่ได้ถูกบล็อกใน robots.txt และมาตรการรักษาความปลอดภัยไม่ได้ขัดขวางการเข้าถึง
• โปรแกรมรวบรวมข้อมูลเห็นข้อความในหน้าเว็บได้ ไม่ใช่เพียงโครงหน้าเปล่าที่เบราว์เซอร์เติมเนื้อหาให้
• หน้าเว็บตอบคำถามเฉพาะอย่างตรงไปตรงมาและชัดเจน แทนที่จะใช้รายการคำหลักมาแทนคำตอบ

เริ่มจากการตรวจสอบสิทธิ์เข้าถึงก่อน หากโปรแกรมรวบรวมข้อมูลอ่านหน้าเว็บไม่ได้ ก็จะไม่ได้รับข้อความที่เป็นประโยชน์ในหน้านั้นเช่นกัน

โปรแกรมรวบรวมข้อมูลสำหรับการค้นหาแตกต่างจากโปรแกรมสำหรับการฝึกอย่างไร#

ควรอนุญาตหรือบล็อกการเข้าถึงแยกกันสำหรับโปรแกรมรวบรวมข้อมูลแต่ละตัว การตัดสินใจโดยรวมว่าจะ “ให้ AI เข้ามาในเว็บไซต์” ไม่ได้คำนึงถึงความแตกต่างของหน้าที่แต่ละตัว

• โปรแกรมรวบรวมข้อมูลสำหรับการค้นหา ช่วยให้หน้าเว็บของคุณปรากฏในคำตอบของผู้ช่วยเมื่อผู้ใช้ถามคำถาม อนุญาตให้โปรแกรมนี้เข้าถึง หากต้องการให้เว็บไซต์พร้อมสำหรับการค้นหา
• โปรแกรมรวบรวมข้อมูลสำหรับการฝึก รวบรวมข้อความที่อาจนำไปใช้ฝึกโมเดลรุ่นต่อไป คุณตัดสินใจได้ว่าจะอนุญาตให้เข้าถึงหรือไม่ การตัดสินใจนี้ไม่มีผลโดยตรงต่อการปรากฏในคำตอบจากการค้นหาในปัจจุบัน

เอกสารของ OpenAI ยกตัวอย่างว่า คุณอนุญาตให้โปรแกรมรวบรวมข้อมูลสำหรับการค้นหาเข้าถึงเว็บไซต์ได้พร้อมกับบล็อกโปรแกรมสำหรับการฝึก เพื่อไม่ให้ข้อความในเว็บไซต์ถูกนำไปใช้ฝึก การตั้งค่าสองอย่างนี้กำหนดแยกจากกันในไฟล์เดียวกัน

โปรแกรมรวบรวมข้อมูลของ ChatGPT, Claude และ Perplexity มีชื่อว่าอะไร#

คุณต้องใช้ชื่อโปรแกรมรวบรวมข้อมูล (user-agent) ที่ถูกต้องในการตั้งค่าการเข้าถึง โดยระบุชื่อเหล่านี้ใน robots.txt ตารางแสดงชื่อและหน้าที่ตามเอกสารทางการของผู้พัฒนาแต่ละราย ณ เดือนกันยายน 2026

โปรแกรมรวบรวมข้อมูล ChatGPT-User, Claude-User และ Perplexity-User เข้าชมหน้าเว็บตามคำขอของบุคคลในการสนทนา แต่ผู้พัฒนาแต่ละรายมีกฎการเข้าถึงต่างกัน OpenAI ระบุว่ากฎใน robots.txt อาจไม่มีผลกับ ChatGPT-User ส่วน Perplexity ระบุว่า Perplexity-User มักไม่สนใจกฎเหล่านี้ เนื่องจากผู้ใช้เป็นผู้เริ่มการเข้าชม Anthropic ควบคุมการเข้าถึงของ Claude-User ผ่าน robots.txt หากคุณบล็อกไว้ที่นั่น Claude จะไม่ดึงหน้าเว็บมาตอบคำขอของผู้ใช้ การเข้าถึงของโปรแกรมรวบรวมข้อมูลสำหรับการค้นหาตั้งค่าแยกต่างหาก

Google-Extended ไม่มีบรรทัด user-agent ของตัวเองขณะรวบรวมข้อมูล แต่เป็นเพียงโทเค็นควบคุมใน robots.txt โดยกำหนดว่า Google สามารถนำเนื้อหาของคุณไปใช้กับ AI เชิงสร้างสรรค์ได้หรือไม่ และไม่มีผลกับ Google Search ทั่วไป

หากต้องการสร้างเว็บไซต์ที่มีโครงสร้างชัดเจนและข้อความที่เข้าถึงได้ ลองคิดว่าจะจัดระเบียบข้อมูลอย่างไร

วิธีอนุญาตให้โปรแกรมรวบรวมข้อมูลใน robots.txt: ทีละขั้นตอน#

robots.txt เป็นไฟล์ข้อความธรรมดาที่อยู่ในรูทของเว็บไซต์ เปิดดูได้ที่ที่อยู่ เช่น https://example.com/robots.txt โปรแกรมรวบรวมข้อมูลจะอ่านไฟล์นี้ก่อนเริ่มรวบรวมข้อมูลและทำตามคำสั่ง ยกเว้นกรณีการเข้าชมตามคำขอของผู้ใช้ที่กล่าวถึงข้างต้น

1. เปิดไฟล์ปัจจุบันของคุณ ป้อนที่อยู่เว็บไซต์ในเบราว์เซอร์แล้วเติม /robots.txt ต่อท้าย ตรวจดูว่ามีอะไรอยู่ในไฟล์แล้วบ้าง และโปรแกรมรวบรวมข้อมูลที่ต้องการถูกบล็อกโดยไม่ตั้งใจด้วยบรรทัด Disallow: / หรือไม่ มองหาบรรทัด Disallow: สำหรับพื้นที่จำกัดด้วย เช่น หน้าบัญชี หน้าชำระเงิน และส่วนผู้ดูแลระบบ คุณจะต้องใช้บรรทัดเหล่านี้ในขั้นตอนถัดไป
2. เพิ่มกลุ่มสำหรับโปรแกรมรวบรวมข้อมูลสำหรับการค้นหาของผู้ช่วย แต่ละกลุ่มระบุชื่อโปรแกรมรวบรวมข้อมูลและกฎการเข้าถึง หากต้องการอนุญาตให้รวบรวมข้อมูล ให้ใช้ Allow: / โปรแกรมรวบรวมข้อมูลจะทำตามกฎในกลุ่มที่ระบุชื่อของโปรแกรมนั้นแยกไว้ และจะไม่รับกฎจากกลุ่ม User-agent: * ทั่วไป ข้อจำกัดที่ปรากฏเฉพาะในกลุ่ม User-agent: * จะไม่มีผลกับโปรแกรมนั้น หากมีพื้นที่จำกัด ให้ใส่บรรทัด Disallow: ชุดเดิมซ้ำในทุกกลุ่มใหม่ มิฉะนั้นพื้นที่เหล่านั้นจะเปิดให้โปรแกรมดังกล่าวเข้าถึง
3. ตัดสินใจเรื่องโปรแกรมรวบรวมข้อมูลสำหรับการฝึกแยกต่างหาก หากไม่ต้องการให้ใช้ข้อความเพื่อฝึก ให้ตั้ง Disallow: / สำหรับ GPTBot และ ClaudeBot ซึ่งจะไม่มีผลต่อการมองเห็นในการค้นหา
4. บันทึกไฟล์ไว้ที่รูทของเว็บไซต์ แล้วตรวจสอบว่าเปิดได้ที่ /robots.txt หากมีซับโดเมน (เช่น blog.example.com) แต่ละซับโดเมนต้องมีไฟล์ของตัวเอง เพราะโปรแกรมรวบรวมข้อมูลจะอ่านไฟล์ที่เป็นของแต่ละซับโดเมน

ก่อนคัดลอกตัวอย่าง ให้ตรวจสอบข้อจำกัดของพื้นที่ที่จำกัดก่อน หากคุณใส่ Disallow: /dashboard/ ไว้เฉพาะใน User-agent: * กฎนี้จะไม่มีผลกับ OAI-SearchBot ซึ่งมีกลุ่มของตัวเอง ระบุเส้นทางที่จำกัดในทุกกลุ่มที่คุณอนุญาตให้โปรแกรมรวบรวมข้อมูลเข้าถึง

ในตัวอย่างด้านล่าง อนุญาตให้โปรแกรมรวบรวมข้อมูลสำหรับการค้นหาของผู้ช่วยเข้าถึง แต่บล็อกพื้นที่จำกัด /dashboard/ ไว้โดยตรงในกลุ่มของโปรแกรมเหล่านั้น ส่วนโปรแกรมรวบรวมข้อมูลสำหรับการฝึกถูกบล็อกทั้งหมด การบล็อกโปรแกรมสำหรับการฝึกเป็นทางเลือก คุณเป็นผู้ตัดสินใจ และควรเปลี่ยนรายการเส้นทางที่จำกัดให้เป็นเส้นทางของคุณเอง

# อนุญาตให้โปรแกรมรวบรวมข้อมูลสำหรับการค้นหาเข้าถึง แต่บล็อกพื้นที่จำกัด
User-agent: OAI-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: Claude-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: PerplexityBot
Allow: /
Disallow: /dashboard/

# บล็อกโปรแกรมรวบรวมข้อมูลสำหรับการฝึก (ไม่บังคับ)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# แผนผังเว็บไซต์ช่วยให้โปรแกรมรวบรวมข้อมูลค้นหาทุกหน้าได้
Sitemap: https://example.com/sitemap.xml

ตามเอกสารของ OpenAI และ Perplexity ระบบของผู้พัฒนาเหล่านี้อาจต้องใช้เวลาประมาณหนึ่งวันจึงจะรับรู้การเปลี่ยนแปลงใน robots.txt อย่าคาดหวังว่าจะเห็นผลทันทีหลังบันทึกไฟล์

การตั้งค่านี้แสดงบนเว็บไซต์จริงอย่างไร#

ในตัวอย่างการตั้งค่า robots.txt ที่อธิบายไว้ ชื่อโปรแกรมรวบรวมข้อมูลของผู้ช่วย เช่น GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, PerplexityBot, Perplexity-User, Google-Extended และชื่ออื่น ๆ จะรวมอยู่ในกลุ่มเดียว ด้านล่างชื่อเหล่านั้นมี Allow: / และบรรทัด Disallow: ชุดเดียวกับที่ใช้ในกลุ่ม User-agent: * ทั่วไปสำหรับพื้นที่จำกัด ได้แก่ /dashboard/, /admin/, /login, /account/, /order/ และอื่น ๆ URL ของแผนผังเว็บไซต์ระบุไว้ท้ายไฟล์ด้วยคำสั่ง Sitemap:

มีการระบุข้อจำกัดซ้ำในกลุ่มของโปรแกรมรวบรวมข้อมูลผู้ช่วย เพื่อบล็อกไม่ให้โปรแกรมเหล่านั้นเข้าถึงพื้นที่จำกัดด้วย คุณเปิด /robots.txt ของเว็บไซต์ใดก็ได้เพื่อดูการตั้งค่า ไฟล์นี้เปิดเผยต่อสาธารณะเสมอ

มีอะไรอีกที่ช่วยให้โปรแกรมรวบรวมข้อมูลเข้าใจเว็บไซต์#

แม้จะอนุญาตให้รวบรวมข้อมูลแล้ว โปรแกรมก็อาจไม่ได้รับเนื้อหาของหน้าเว็บ นอกจากกฎการเข้าถึงแล้ว ให้ตรวจสอบด้วยว่าเว็บไซต์ส่งข้อความอย่างไรและช่วยให้ผู้คนค้นหาเนื้อหาได้อย่างไร

• ข้อความพร้อมใช้งานทันที หากสคริปต์แสดงเนื้อหาหน้าเว็บในเบราว์เซอร์ โปรแกรมรวบรวมข้อมูลบางตัวอาจเห็นเพียงโครงหน้าเปล่า วิธีตรวจสอบคือเปิดหน้าเว็บ เลือก “ดูซอร์สของหน้าเว็บ” แล้วค้นหาข้อความของคุณ หากไม่มีข้อความอยู่ในซอร์สและปรากฏเฉพาะในมุมมองหน้าเว็บปกติ คุณควรตรวจสอบวิธีส่งเนื้อหาหน้าเว็บ
• มีแผนผังเว็บไซต์ ไฟล์ sitemap.xml เป็นรายการหน้าเว็บทั้งหมดของคุณ และช่วยให้โปรแกรมรวบรวมข้อมูลไม่พลาดเนื้อหา เพิ่มลิงก์ไปยังไฟล์นี้ใน robots.txt ด้วยบรรทัด Sitemap:
• คำตอบชัดเจนสำหรับคนอ่าน โปรแกรมรวบรวมข้อมูลของผู้ช่วยมองหาหน้าที่ตอบคำถาม หัวข้อที่ชัดเจน คำตอบสั้น ๆ ตั้งแต่ต้น และถ้อยคำที่ตรงไปตรงมา มีประสิทธิภาพกว่ารายการคำหลัก

เหตุใด AI อาจมองไม่เห็นเว็บไซต์#

หากเว็บไซต์ของคุณไม่ปรากฏในคำตอบ ให้ตรวจสอบอุปสรรคที่อาจขัดขวางการเข้าถึงต่อไปนี้

• โปรแกรมรวบรวมข้อมูลถูกบล็อกใน robots.txt บางครั้งไฟล์มีข้อจำกัดทั่วไปที่บล็อกโปรแกรมที่คุณต้องการ ตรวจดูว่ามี Disallow: / ในกลุ่มที่ใช้กับโปรแกรมรวบรวมข้อมูลของผู้ช่วยหรือไม่
• ข้อความมองไม่เห็นหากไม่มีเบราว์เซอร์ หากสคริปต์สร้างเนื้อหา โปรแกรมรวบรวมข้อมูลอาจไม่ได้รับเนื้อหานั้น วิธีตรวจซอร์สโค้ดอธิบายไว้ข้างต้น
• ระบบรักษาความปลอดภัยของเว็บไซต์บล็อกโปรแกรมรวบรวมข้อมูล เว็บไซต์จำนวนมากใช้ระบบป้องกันทราฟฟิกที่ไม่ต้องการ เช่น Cloudflare ซึ่งอาจบล็อกการเข้าถึงโดยไม่ขึ้นกับ robots.txt คุณใช้ robots.txt เพื่อกำหนดว่าโปรแกรมรวบรวมข้อมูลไปที่ใดได้ ส่วนระบบรักษาความปลอดภัยของเว็บไซต์เป็นผู้ตัดสินใจว่าจะยอมให้คำขอผ่านหรือไม่ Perplexity แนะนำให้อนุญาตโปรแกรมรวบรวมข้อมูลด้วยตนเองในการตั้งค่าความปลอดภัย โดยใช้ชื่อ user-agent และที่อยู่ IP ที่เผยแพร่ กำหนดกฎการรวบรวมข้อมูลผ่าน robots.txt ด้วย โดย Anthropic เตือนแยกต่างหากว่าการบล็อกโปรแกรมรวบรวมข้อมูลด้วยที่อยู่ IP เพียงอย่างเดียวไม่น่าเชื่อถือ หากคุณใช้บริการลักษณะเดียวกัน ให้ตรวจสอบการตั้งค่าของบริการนั้น

ตรวจสอบสาเหตุทีละข้อ เริ่มจาก robots.txt ต่อด้วยซอร์สโค้ดของหน้าเว็บ แล้วจึงตรวจการตั้งค่าความปลอดภัย การไม่มีอุปสรรคเหล่านี้เพียงอย่างเดียวไม่ได้รับประกันว่าเว็บไซต์ของคุณจะปรากฏในคำตอบ

จะตรวจสอบได้อย่างไรว่าโปรแกรมรวบรวมข้อมูลเข้าถึงหน้าเว็บแล้ว#

การตรวจสอบนี้ช่วยประเมินการเข้าถึงเว็บไซต์ของคุณและค้นหารายการบันทึกการเข้าชมของโปรแกรมรวบรวมข้อมูล

• เปิด https://example.com/robots.txt ในเบราว์เซอร์ ไฟล์ควรเปิดได้และมีกลุ่มที่จำเป็น
• เปิดแผนผังเว็บไซต์ที่ https://example.com/sitemap.xml ไฟล์ควรเปิดได้และแสดงรายการหน้าเว็บ
• ดูซอร์สโค้ดของหน้าสำคัญและค้นหาข้อความของคุณในนั้น
• หากเข้าถึงบันทึกเซิร์ฟเวอร์ได้ ให้ค้นหาชื่อโปรแกรมรวบรวมข้อมูล เช่น OAI-SearchBot, PerplexityBot และชื่ออื่น ๆ คุณดูการเข้าชมของโปรแกรมเหล่านี้ได้จาก user-agent

การตรวจสอบนี้ไม่บอกว่าผู้ช่วยจะเลือกหน้าเว็บของคุณโดยเฉพาะหรือไม่ เรื่องนี้ขึ้นอยู่กับคำถามของผู้ใช้และความสามารถของหน้าเว็บในการตอบคำถามนั้น

การตั้งค่าเหล่านี้ไม่ได้รับประกันอะไร#

การเข้าถึงเว็บไซต์กับการปรากฏในคำตอบของผู้ช่วยเป็นผลลัพธ์คนละอย่าง การตั้งค่าเหล่านี้มีข้อจำกัด

• ไม่มีการรับประกันว่าจะได้รับการอ้างอิง การเปิดให้เข้าถึงเพียงให้โอกาสโปรแกรมรวบรวมข้อมูลอ่านเว็บไซต์ของคุณ ส่วนผู้ช่วยจะอ้างอิงคุณหรือไม่ขึ้นอยู่กับผู้ช่วยและคำถาม
• ไม่มีใครรับประกันอันดับหรือทราฟฟิก การตั้งค่า robots.txt เปิดให้เข้าถึง แต่ไม่ได้รับประกันตำแหน่งในผลการค้นหา
• โปรแกรมรวบรวมข้อมูลบางตัวอาจไม่ทำตามกฎในไฟล์ กรณีนี้ใช้กับโปรแกรมบางตัวที่เข้าชมเพื่อตอบสนองคำขอโดยตรงจากผู้ใช้ เช่น ChatGPT-User ของ OpenAI และ Perplexity-User ของ Perplexity
• กฎเปลี่ยนแปลงได้ ผู้พัฒนาอัปเดตชื่อโปรแกรมรวบรวมข้อมูลและเงื่อนไข ควรตรวจสอบเอกสารทุกสองสามเดือน ลิงก์อยู่ท้ายบทความ

คุณควบคุมการเข้าถึงและคุณภาพของเว็บไซต์ได้ แต่ผู้ช่วยเป็นผู้ตัดสินใจว่าจะใส่ลิงก์หรือไม่ จุดประสงค์ของการตั้งค่าเหล่านี้คือทำให้หน้าที่มีประโยชน์พร้อมสำหรับการค้นหาและการอ่าน โดยไม่พยายาม “หลอก” ผู้ช่วย

ทำอะไรต่อ#

เปิด robots.txt เพิ่มโปรแกรมรวบรวมข้อมูลสำหรับการค้นหาของผู้ช่วย แล้วตรวจสอบแผนผังเว็บไซต์และความพร้อมใช้งานของข้อความ หากระบบรักษาความปลอดภัยบล็อกการเข้าถึง ให้ตรวจการตั้งค่าของระบบนั้นด้วย การดำเนินการเหล่านี้ช่วยระบุและนำอุปสรรคทางเทคนิคออก จากนั้นตรวจสอบตัวหน้าเว็บเองว่าให้คำตอบที่ชัดเจนต่อคำถามเฉพาะของกลุ่มผู้ชมหรือไม่