# วิธีเปิดเว็บไซต์ให้โปรแกรมรวบรวมข้อมูลการค้นหาของ ChatGPT, Claude และ Perplexity

> ชื่อของโปรแกรมรวบรวมข้อมูลสำหรับการค้นหาและการฝึก ตัวอย่าง robots.txt ฉบับสมบูรณ์ แผนผังเว็บไซต์ ความพร้อมใช้งานของข้อความ และข้อจำกัดในการอ้างอิง

Source: https://ailoot.ai/blog/th/ai-search-crawlers-robots-txt/
Canonical: https://ailoot.ai/blog/th/ai-search-crawlers-robots-txt/
Language: th
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-144
Revision: sha256-4b5f91637e00dcb5a740be3756a7588d05a475a2ab778f5fbbb811e0854f0f95


คุณสร้างเว็บไซต์หรือผลิตภัณฑ์ขึ้นมา แต่เมื่อมีคนถามว่า “แนะนำบริการสำหรับงานนี้หน่อย” ChatGPT, Claude และ Perplexity กลับไม่พูดถึงเว็บไซต์ของคุณ ควรตรวจสอบว่าผู้ช่วย AI อ่านเว็บไซต์ของคุณได้หรือไม่ และมีการบล็อกการเข้าถึงหรือเปล่า

ไม่มีปุ่มสำหรับ “ทำให้ไปอยู่ในคำตอบของ AI” และไม่มีใครรับประกันได้ว่าจะมีการอ้างอิง ChatGPT, Claude และ Perplexity มีโปรแกรมรวบรวมข้อมูลสำหรับการค้นหาแยกกัน คุณสามารถอนุญาตให้โปรแกรมเหล่านี้เข้าถึงเว็บไซต์ได้ผ่าน `robots.txt` จากนั้นตรวจสอบว่าโปรแกรมเข้าถึงข้อความในหน้าเว็บได้หรือไม่ และระบบรักษาความปลอดภัยของเว็บไซต์ขัดขวางการเข้าถึงหรือเปล่า



<div class="aside" data-semantic="ailoot-docs-link" aria-label="เอกสาร Ailoot">

คำแนะนำเชิงปฏิบัติสำหรับการใช้ Ailoot อยู่ใน[เอกสาร](https://ailoot.ai/docs/)

</div>

## การ “มองเห็นได้โดย AI” หมายความว่าอย่างไร

<div class="aside" data-semantic="key-takeaway" role="note" aria-label="ประเด็นสำคัญของส่วนนี้">

ประเด็นสำคัญ

ผู้ช่วย AI มีโปรแกรมรวบรวมข้อมูลสำหรับงานที่แตกต่างกัน บางโปรแกรมรวบรวมเว็บไซต์เพื่อใช้ค้นหาภายในผู้ช่วย ส่วนบางโปรแกรมรวบรวมข้อความเพื่อฝึกโมเดล โปรแกรมประเภทแรกเกี่ยวข้องกับคำตอบจากการค้นหา คุณอนุญาตให้โปรแกรมรวบรวมข้อมูลเข้าถึงเว็บไซต์ได้ แต่ไม่ได้หมายความว่าผู้ช่วยต้องอ้างอิงเว็บไซต์ของคุณ ไม่มีใครรับประกันการอ้างอิงได้

</div>

เมื่อมีคนถาม ChatGPT หรือ Perplexity ว่า “จะอ่านเรื่อง X ได้ที่ไหน” หรือ “ควรเลือกบริการไหน” บางครั้งผู้ช่วยจะค้นหาเว็บและเพิ่มลิงก์ไปยังหน้าเว็บต่าง ๆ หากต้องการให้หน้าเว็บของคุณเป็นหนึ่งในตัวเลือกเหล่านั้น โปรแกรมรวบรวมข้อมูลของผู้ช่วยต้องอ่านหน้าเว็บได้และไม่ได้รับการปฏิเสธการเข้าถึง

มีสามสิ่งที่ควรตรวจสอบในเว็บไซต์ของคุณ:

- โปรแกรมรวบรวมข้อมูลเข้าถึงเว็บไซต์ได้ โดยไม่ได้ถูกบล็อกใน `robots.txt` และมาตรการรักษาความปลอดภัยไม่ได้ขัดขวางการเข้าถึง
- โปรแกรมรวบรวมข้อมูลเห็นข้อความในหน้าเว็บได้ ไม่ใช่เพียงโครงหน้าเปล่าที่เบราว์เซอร์เติมเนื้อหาให้
- หน้าเว็บตอบคำถามเฉพาะอย่างตรงไปตรงมาและชัดเจน แทนที่จะใช้รายการคำหลักมาแทนคำตอบ

เริ่มจากการตรวจสอบสิทธิ์เข้าถึงก่อน หากโปรแกรมรวบรวมข้อมูลอ่านหน้าเว็บไม่ได้ ก็จะไม่ได้รับข้อความที่เป็นประโยชน์ในหน้านั้นเช่นกัน

## โปรแกรมรวบรวมข้อมูลสำหรับการค้นหาแตกต่างจากโปรแกรมสำหรับการฝึกอย่างไร

<div class="aside" data-semantic="key-takeaway" role="note" aria-label="ประเด็นสำคัญของส่วนนี้">

ประเด็นสำคัญ

ผู้ช่วยรายใหญ่แต่ละรายมีโปรแกรมรวบรวมข้อมูลที่ทำหน้าที่แยกกัน โปรแกรมสำหรับการค้นหารวบรวมเว็บไซต์เพื่อให้แสดงในคำตอบและผลการค้นหาของผู้ช่วยได้ ส่วนโปรแกรมสำหรับการฝึกรวบรวมข้อความเพื่อฝึกโมเดล การตั้งค่าเหล่านี้เป็นอิสระจากกัน คุณอนุญาตให้โปรแกรมสำหรับการค้นหาเข้าถึงได้ และบล็อกโปรแกรมสำหรับการฝึกได้

</div>

ควรอนุญาตหรือบล็อกการเข้าถึงแยกกันสำหรับโปรแกรมรวบรวมข้อมูลแต่ละตัว การตัดสินใจโดยรวมว่าจะ “ให้ AI เข้ามาในเว็บไซต์” ไม่ได้คำนึงถึงความแตกต่างของหน้าที่แต่ละตัว

- **โปรแกรมรวบรวมข้อมูลสำหรับการค้นหา** ช่วยให้หน้าเว็บของคุณปรากฏในคำตอบของผู้ช่วยเมื่อผู้ใช้ถามคำถาม อนุญาตให้โปรแกรมนี้เข้าถึง หากต้องการให้เว็บไซต์พร้อมสำหรับการค้นหา
- **โปรแกรมรวบรวมข้อมูลสำหรับการฝึก** รวบรวมข้อความที่อาจนำไปใช้ฝึกโมเดลรุ่นต่อไป คุณตัดสินใจได้ว่าจะอนุญาตให้เข้าถึงหรือไม่ การตัดสินใจนี้ไม่มีผลโดยตรงต่อการปรากฏในคำตอบจากการค้นหาในปัจจุบัน

เอกสารของ OpenAI ยกตัวอย่างว่า คุณอนุญาตให้โปรแกรมรวบรวมข้อมูลสำหรับการค้นหาเข้าถึงเว็บไซต์ได้พร้อมกับบล็อกโปรแกรมสำหรับการฝึก เพื่อไม่ให้ข้อความในเว็บไซต์ถูกนำไปใช้ฝึก การตั้งค่าสองอย่างนี้กำหนดแยกจากกันในไฟล์เดียวกัน

## โปรแกรมรวบรวมข้อมูลของ ChatGPT, Claude และ Perplexity มีชื่อว่าอะไร

<div class="aside" data-semantic="key-takeaway" role="note" aria-label="ประเด็นสำคัญของส่วนนี้">

ประเด็นสำคัญ

สำหรับ OpenAI โปรแกรมรวบรวมข้อมูลสำหรับการค้นหาคือ OAI-SearchBot สำหรับการฝึกคือ GPTBot และ ChatGPT-User จะเข้าชมตามคำขอของผู้ใช้ สำหรับ Anthropic ได้แก่ Claude-SearchBot (การค้นหา), ClaudeBot (การฝึก) และ Claude-User (ตามคำขอของผู้ใช้) สำหรับ Perplexity ได้แก่ PerplexityBot (การค้นหา) และ Perplexity-User (ตามคำขอของผู้ใช้) Google มีโทเค็น Google-Extended แยกต่างหาก ซึ่งควบคุมการนำเนื้อหาเว็บไซต์ไปใช้กับ AI เชิงสร้างสรรค์

</div>

คุณต้องใช้ชื่อโปรแกรมรวบรวมข้อมูล (user-agent) ที่ถูกต้องในการตั้งค่าการเข้าถึง โดยระบุชื่อเหล่านี้ใน `robots.txt` ตารางแสดงชื่อและหน้าที่ตามเอกสารทางการของผู้พัฒนาแต่ละราย ณ เดือนกันยายน 2026

| โปรแกรมรวบรวมข้อมูล (user-agent) หรือโทเค็น | เป็นของ | ทำอะไร | ควรอนุญาตเพื่อให้มองเห็นได้หรือไม่ |
|----|----|----|----|
| `OAI-SearchBot` | OpenAI | แสดงเว็บไซต์ในผลการค้นหาของ ChatGPT | ควร |
| `GPTBot` | OpenAI | รวบรวมข้อความเพื่อฝึกโมเดล | แล้วแต่คุณ |
| `ChatGPT-User` | OpenAI | เข้าชมหน้าเว็บตามคำขอของผู้ใช้ | โดยทั่วไปควร |
| `Claude-SearchBot` | Anthropic | จัดทำดัชนีเว็บไซต์เพื่อปรับปรุงคุณภาพการค้นหา | ควร |
| `ClaudeBot` | Anthropic | รวบรวมข้อความเพื่อฝึกโมเดล | แล้วแต่คุณ |
| `Claude-User` | Anthropic | เข้าชมตามคำขอของผู้ใช้ Claude | โดยทั่วไปควร |
| `PerplexityBot` | Perplexity | แสดงและลิงก์ไปยังเว็บไซต์ในผลการค้นหา | ควร |
| `Perplexity-User` | Perplexity | เข้าชมตามคำขอของผู้ใช้ | โดยทั่วไปควร |
| `Google-Extended` | Google | โทเค็นที่ควบคุมการนำเนื้อหาเว็บไซต์ไปใช้กับ AI เชิงสร้างสรรค์ของ Google | แล้วแต่คุณ |

โปรแกรมรวบรวมข้อมูล `ChatGPT-User`, `Claude-User` และ `Perplexity-User` เข้าชมหน้าเว็บตามคำขอของบุคคลในการสนทนา แต่ผู้พัฒนาแต่ละรายมีกฎการเข้าถึงต่างกัน OpenAI ระบุว่ากฎใน `robots.txt` อาจไม่มีผลกับ `ChatGPT-User` ส่วน Perplexity ระบุว่า `Perplexity-User` มักไม่สนใจกฎเหล่านี้ เนื่องจากผู้ใช้เป็นผู้เริ่มการเข้าชม Anthropic ควบคุมการเข้าถึงของ `Claude-User` ผ่าน `robots.txt` หากคุณบล็อกไว้ที่นั่น Claude จะไม่ดึงหน้าเว็บมาตอบคำขอของผู้ใช้ การเข้าถึงของโปรแกรมรวบรวมข้อมูลสำหรับการค้นหาตั้งค่าแยกต่างหาก

`Google-Extended` ไม่มีบรรทัด user-agent ของตัวเองขณะรวบรวมข้อมูล แต่เป็นเพียงโทเค็นควบคุมใน `robots.txt` โดยกำหนดว่า Google สามารถนำเนื้อหาของคุณไปใช้กับ AI เชิงสร้างสรรค์ได้หรือไม่ และไม่มีผลกับ Google Search ทั่วไป

หากต้องการสร้างเว็บไซต์ที่มีโครงสร้างชัดเจนและข้อความที่เข้าถึงได้ ลองคิดว่าจะจัดระเบียบข้อมูลอย่างไร



## วิธีอนุญาตให้โปรแกรมรวบรวมข้อมูลใน robots.txt: ทีละขั้นตอน

<div class="aside" data-semantic="key-takeaway" role="note" aria-label="ประเด็นสำคัญของส่วนนี้">

ประเด็นสำคัญ

ไฟล์ robots.txt อยู่ที่รูทของเว็บไซต์และกำหนดกฎการเข้าถึงสำหรับโปรแกรมรวบรวมข้อมูล หากต้องการอนุญาตให้โปรแกรมรวบรวมข้อมูลสำหรับการค้นหาของผู้ช่วยเข้าถึง ให้เพิ่ม user-agent ของโปรแกรมเหล่านั้นพร้อมอนุญาตให้รวบรวมข้อมูล แต่ละซับโดเมนต้องมีไฟล์ของตัวเอง

</div>

`robots.txt` เป็นไฟล์ข้อความธรรมดาที่อยู่ในรูทของเว็บไซต์ เปิดดูได้ที่ที่อยู่ เช่น `https://example.com/robots.txt` โปรแกรมรวบรวมข้อมูลจะอ่านไฟล์นี้ก่อนเริ่มรวบรวมข้อมูลและทำตามคำสั่ง ยกเว้นกรณีการเข้าชมตามคำขอของผู้ใช้ที่กล่าวถึงข้างต้น

1.  **เปิดไฟล์ปัจจุบันของคุณ** ป้อนที่อยู่เว็บไซต์ในเบราว์เซอร์แล้วเติม `/robots.txt` ต่อท้าย ตรวจดูว่ามีอะไรอยู่ในไฟล์แล้วบ้าง และโปรแกรมรวบรวมข้อมูลที่ต้องการถูกบล็อกโดยไม่ตั้งใจด้วยบรรทัด `Disallow: /` หรือไม่ มองหาบรรทัด `Disallow:` สำหรับพื้นที่จำกัดด้วย เช่น หน้าบัญชี หน้าชำระเงิน และส่วนผู้ดูแลระบบ คุณจะต้องใช้บรรทัดเหล่านี้ในขั้นตอนถัดไป
2.  **เพิ่มกลุ่มสำหรับโปรแกรมรวบรวมข้อมูลสำหรับการค้นหาของผู้ช่วย** แต่ละกลุ่มระบุชื่อโปรแกรมรวบรวมข้อมูลและกฎการเข้าถึง หากต้องการอนุญาตให้รวบรวมข้อมูล ให้ใช้ `Allow: /` โปรแกรมรวบรวมข้อมูลจะทำตามกฎในกลุ่มที่ระบุชื่อของโปรแกรมนั้นแยกไว้ และจะไม่รับกฎจากกลุ่ม `User-agent: *` ทั่วไป ข้อจำกัดที่ปรากฏเฉพาะในกลุ่ม `User-agent: *` จะไม่มีผลกับโปรแกรมนั้น หากมีพื้นที่จำกัด ให้ใส่บรรทัด `Disallow:` ชุดเดิมซ้ำในทุกกลุ่มใหม่ มิฉะนั้นพื้นที่เหล่านั้นจะเปิดให้โปรแกรมดังกล่าวเข้าถึง
3.  **ตัดสินใจเรื่องโปรแกรมรวบรวมข้อมูลสำหรับการฝึกแยกต่างหาก** หากไม่ต้องการให้ใช้ข้อความเพื่อฝึก ให้ตั้ง `Disallow: /` สำหรับ `GPTBot` และ `ClaudeBot` ซึ่งจะไม่มีผลต่อการมองเห็นในการค้นหา
4.  **บันทึกไฟล์ไว้ที่รูทของเว็บไซต์** แล้วตรวจสอบว่าเปิดได้ที่ `/robots.txt` หากมีซับโดเมน (เช่น `blog.example.com`) แต่ละซับโดเมนต้องมีไฟล์ของตัวเอง เพราะโปรแกรมรวบรวมข้อมูลจะอ่านไฟล์ที่เป็นของแต่ละซับโดเมน

ก่อนคัดลอกตัวอย่าง ให้ตรวจสอบข้อจำกัดของพื้นที่ที่จำกัดก่อน หากคุณใส่ `Disallow: /dashboard/` ไว้เฉพาะใน `User-agent: *` กฎนี้จะไม่มีผลกับ `OAI-SearchBot` ซึ่งมีกลุ่มของตัวเอง ระบุเส้นทางที่จำกัดในทุกกลุ่มที่คุณอนุญาตให้โปรแกรมรวบรวมข้อมูลเข้าถึง

ในตัวอย่างด้านล่าง อนุญาตให้โปรแกรมรวบรวมข้อมูลสำหรับการค้นหาของผู้ช่วยเข้าถึง แต่บล็อกพื้นที่จำกัด `/dashboard/` ไว้โดยตรงในกลุ่มของโปรแกรมเหล่านั้น ส่วนโปรแกรมรวบรวมข้อมูลสำหรับการฝึกถูกบล็อกทั้งหมด การบล็อกโปรแกรมสำหรับการฝึกเป็นทางเลือก คุณเป็นผู้ตัดสินใจ และควรเปลี่ยนรายการเส้นทางที่จำกัดให้เป็นเส้นทางของคุณเอง

```
# อนุญาตให้โปรแกรมรวบรวมข้อมูลสำหรับการค้นหาเข้าถึง แต่บล็อกพื้นที่จำกัด
User-agent: OAI-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: Claude-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: PerplexityBot
Allow: /
Disallow: /dashboard/

# บล็อกโปรแกรมรวบรวมข้อมูลสำหรับการฝึก (ไม่บังคับ)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# แผนผังเว็บไซต์ช่วยให้โปรแกรมรวบรวมข้อมูลค้นหาทุกหน้าได้
Sitemap: https://example.com/sitemap.xml
```

ตามเอกสารของ OpenAI และ Perplexity ระบบของผู้พัฒนาเหล่านี้อาจต้องใช้เวลาประมาณหนึ่งวันจึงจะรับรู้การเปลี่ยนแปลงใน `robots.txt` อย่าคาดหวังว่าจะเห็นผลทันทีหลังบันทึกไฟล์

## การตั้งค่านี้แสดงบนเว็บไซต์จริงอย่างไร

ในตัวอย่างการตั้งค่า `robots.txt` ที่อธิบายไว้ ชื่อโปรแกรมรวบรวมข้อมูลของผู้ช่วย เช่น `GPTBot`, `ChatGPT-User`, `OAI-SearchBot`, `ClaudeBot`, `PerplexityBot`, `Perplexity-User`, `Google-Extended` และชื่ออื่น ๆ จะรวมอยู่ในกลุ่มเดียว ด้านล่างชื่อเหล่านั้นมี `Allow: /` และบรรทัด `Disallow:` ชุดเดียวกับที่ใช้ในกลุ่ม `User-agent: *` ทั่วไปสำหรับพื้นที่จำกัด ได้แก่ `/dashboard/`, `/admin/`, `/login`, `/account/`, `/order/` และอื่น ๆ URL ของแผนผังเว็บไซต์ระบุไว้ท้ายไฟล์ด้วยคำสั่ง `Sitemap:`

มีการระบุข้อจำกัดซ้ำในกลุ่มของโปรแกรมรวบรวมข้อมูลผู้ช่วย เพื่อบล็อกไม่ให้โปรแกรมเหล่านั้นเข้าถึงพื้นที่จำกัดด้วย คุณเปิด `/robots.txt` ของเว็บไซต์ใดก็ได้เพื่อดูการตั้งค่า ไฟล์นี้เปิดเผยต่อสาธารณะเสมอ

## มีอะไรอีกที่ช่วยให้โปรแกรมรวบรวมข้อมูลเข้าใจเว็บไซต์

<div class="aside" data-semantic="key-takeaway" role="note" aria-label="ประเด็นสำคัญของส่วนนี้">

ประเด็นสำคัญ

หลังตั้งค่าการเข้าถึง ให้ตรวจสอบว่าข้อความในหน้าเว็บมองเห็นได้โดยไม่ต้องรันสคริปต์ของเบราว์เซอร์หรือไม่ มีไฟล์ sitemap.xml หรือไม่ และคำตอบชัดเจนหรือไม่

</div>

แม้จะอนุญาตให้รวบรวมข้อมูลแล้ว โปรแกรมก็อาจไม่ได้รับเนื้อหาของหน้าเว็บ นอกจากกฎการเข้าถึงแล้ว ให้ตรวจสอบด้วยว่าเว็บไซต์ส่งข้อความอย่างไรและช่วยให้ผู้คนค้นหาเนื้อหาได้อย่างไร

- **ข้อความพร้อมใช้งานทันที** หากสคริปต์แสดงเนื้อหาหน้าเว็บในเบราว์เซอร์ โปรแกรมรวบรวมข้อมูลบางตัวอาจเห็นเพียงโครงหน้าเปล่า วิธีตรวจสอบคือเปิดหน้าเว็บ เลือก “ดูซอร์สของหน้าเว็บ” แล้วค้นหาข้อความของคุณ หากไม่มีข้อความอยู่ในซอร์สและปรากฏเฉพาะในมุมมองหน้าเว็บปกติ คุณควรตรวจสอบวิธีส่งเนื้อหาหน้าเว็บ
- **มีแผนผังเว็บไซต์** ไฟล์ `sitemap.xml` เป็นรายการหน้าเว็บทั้งหมดของคุณ และช่วยให้โปรแกรมรวบรวมข้อมูลไม่พลาดเนื้อหา เพิ่มลิงก์ไปยังไฟล์นี้ใน `robots.txt` ด้วยบรรทัด `Sitemap:`
- **คำตอบชัดเจนสำหรับคนอ่าน** โปรแกรมรวบรวมข้อมูลของผู้ช่วยมองหาหน้าที่ตอบคำถาม หัวข้อที่ชัดเจน คำตอบสั้น ๆ ตั้งแต่ต้น และถ้อยคำที่ตรงไปตรงมา มีประสิทธิภาพกว่ารายการคำหลัก

## เหตุใด AI อาจมองไม่เห็นเว็บไซต์

<div class="aside" data-semantic="key-takeaway" role="note" aria-label="ประเด็นสำคัญของส่วนนี้">

ประเด็นสำคัญ

มีสาเหตุสามอย่างที่ควรตรวจสอบ ได้แก่ โปรแกรมรวบรวมข้อมูลถูกบล็อกใน robots.txt ข้อความสร้างขึ้นด้วยสคริปต์และมองไม่เห็นหากไม่มีเบราว์เซอร์ หรือระบบรักษาความปลอดภัยของเว็บไซต์บล็อกโปรแกรมรวบรวมข้อมูล กรณีแรกให้ตรวจไฟล์ กรณีที่สองให้ตรวจวิธีส่งหน้าเว็บ และกรณีที่สามให้ตรวจการตั้งค่าความปลอดภัย

</div>

หากเว็บไซต์ของคุณไม่ปรากฏในคำตอบ ให้ตรวจสอบอุปสรรคที่อาจขัดขวางการเข้าถึงต่อไปนี้

- **โปรแกรมรวบรวมข้อมูลถูกบล็อกใน `robots.txt`** บางครั้งไฟล์มีข้อจำกัดทั่วไปที่บล็อกโปรแกรมที่คุณต้องการ ตรวจดูว่ามี `Disallow: /` ในกลุ่มที่ใช้กับโปรแกรมรวบรวมข้อมูลของผู้ช่วยหรือไม่
- **ข้อความมองไม่เห็นหากไม่มีเบราว์เซอร์** หากสคริปต์สร้างเนื้อหา โปรแกรมรวบรวมข้อมูลอาจไม่ได้รับเนื้อหานั้น วิธีตรวจซอร์สโค้ดอธิบายไว้ข้างต้น
- **ระบบรักษาความปลอดภัยของเว็บไซต์บล็อกโปรแกรมรวบรวมข้อมูล** เว็บไซต์จำนวนมากใช้ระบบป้องกันทราฟฟิกที่ไม่ต้องการ เช่น Cloudflare ซึ่งอาจบล็อกการเข้าถึงโดยไม่ขึ้นกับ `robots.txt` คุณใช้ `robots.txt` เพื่อกำหนดว่าโปรแกรมรวบรวมข้อมูลไปที่ใดได้ ส่วนระบบรักษาความปลอดภัยของเว็บไซต์เป็นผู้ตัดสินใจว่าจะยอมให้คำขอผ่านหรือไม่ Perplexity แนะนำให้อนุญาตโปรแกรมรวบรวมข้อมูลด้วยตนเองในการตั้งค่าความปลอดภัย โดยใช้ชื่อ user-agent และที่อยู่ IP ที่เผยแพร่ กำหนดกฎการรวบรวมข้อมูลผ่าน `robots.txt` ด้วย โดย Anthropic เตือนแยกต่างหากว่าการบล็อกโปรแกรมรวบรวมข้อมูลด้วยที่อยู่ IP เพียงอย่างเดียวไม่น่าเชื่อถือ หากคุณใช้บริการลักษณะเดียวกัน ให้ตรวจสอบการตั้งค่าของบริการนั้น

ตรวจสอบสาเหตุทีละข้อ เริ่มจาก `robots.txt` ต่อด้วยซอร์สโค้ดของหน้าเว็บ แล้วจึงตรวจการตั้งค่าความปลอดภัย การไม่มีอุปสรรคเหล่านี้เพียงอย่างเดียวไม่ได้รับประกันว่าเว็บไซต์ของคุณจะปรากฏในคำตอบ

## จะตรวจสอบได้อย่างไรว่าโปรแกรมรวบรวมข้อมูลเข้าถึงหน้าเว็บแล้ว

<div class="aside" data-semantic="key-takeaway" role="note" aria-label="ประเด็นสำคัญของส่วนนี้">

ประเด็นสำคัญ

ไม่มีตัวนับโดยตรงว่า “ได้รับการอ้างอิงแล้ว” แต่คุณตรวจสอบพื้นฐานได้ว่า robots.txt เปิดได้หรือไม่ ข้อความมองเห็นในซอร์สโค้ดหรือไม่ และแผนผังเว็บไซต์พร้อมใช้งานหรือไม่ คุณดูการเข้าชมของโปรแกรมรวบรวมข้อมูลได้ในบันทึกเซิร์ฟเวอร์จาก user-agent ของโปรแกรม

</div>

การตรวจสอบนี้ช่วยประเมินการเข้าถึงเว็บไซต์ของคุณและค้นหารายการบันทึกการเข้าชมของโปรแกรมรวบรวมข้อมูล

- เปิด `https://example.com/robots.txt` ในเบราว์เซอร์ ไฟล์ควรเปิดได้และมีกลุ่มที่จำเป็น
- เปิดแผนผังเว็บไซต์ที่ `https://example.com/sitemap.xml` ไฟล์ควรเปิดได้และแสดงรายการหน้าเว็บ
- ดูซอร์สโค้ดของหน้าสำคัญและค้นหาข้อความของคุณในนั้น
- หากเข้าถึงบันทึกเซิร์ฟเวอร์ได้ ให้ค้นหาชื่อโปรแกรมรวบรวมข้อมูล เช่น `OAI-SearchBot`, `PerplexityBot` และชื่ออื่น ๆ คุณดูการเข้าชมของโปรแกรมเหล่านี้ได้จาก user-agent

การตรวจสอบนี้ไม่บอกว่าผู้ช่วยจะเลือกหน้าเว็บของคุณโดยเฉพาะหรือไม่ เรื่องนี้ขึ้นอยู่กับคำถามของผู้ใช้และความสามารถของหน้าเว็บในการตอบคำถามนั้น

## การตั้งค่าเหล่านี้ไม่ได้รับประกันอะไร

การเข้าถึงเว็บไซต์กับการปรากฏในคำตอบของผู้ช่วยเป็นผลลัพธ์คนละอย่าง การตั้งค่าเหล่านี้มีข้อจำกัด

- **ไม่มีการรับประกันว่าจะได้รับการอ้างอิง** การเปิดให้เข้าถึงเพียงให้โอกาสโปรแกรมรวบรวมข้อมูลอ่านเว็บไซต์ของคุณ ส่วนผู้ช่วยจะอ้างอิงคุณหรือไม่ขึ้นอยู่กับผู้ช่วยและคำถาม
- **ไม่มีใครรับประกันอันดับหรือทราฟฟิก** การตั้งค่า `robots.txt` เปิดให้เข้าถึง แต่ไม่ได้รับประกันตำแหน่งในผลการค้นหา
- **โปรแกรมรวบรวมข้อมูลบางตัวอาจไม่ทำตามกฎในไฟล์** กรณีนี้ใช้กับโปรแกรมบางตัวที่เข้าชมเพื่อตอบสนองคำขอโดยตรงจากผู้ใช้ เช่น `ChatGPT-User` ของ OpenAI และ `Perplexity-User` ของ Perplexity
- **กฎเปลี่ยนแปลงได้** ผู้พัฒนาอัปเดตชื่อโปรแกรมรวบรวมข้อมูลและเงื่อนไข ควรตรวจสอบเอกสารทุกสองสามเดือน ลิงก์อยู่ท้ายบทความ

คุณควบคุมการเข้าถึงและคุณภาพของเว็บไซต์ได้ แต่ผู้ช่วยเป็นผู้ตัดสินใจว่าจะใส่ลิงก์หรือไม่ จุดประสงค์ของการตั้งค่าเหล่านี้คือทำให้หน้าที่มีประโยชน์พร้อมสำหรับการค้นหาและการอ่าน โดยไม่พยายาม “หลอก” ผู้ช่วย

## ทำอะไรต่อ

เปิด `robots.txt` เพิ่มโปรแกรมรวบรวมข้อมูลสำหรับการค้นหาของผู้ช่วย แล้วตรวจสอบแผนผังเว็บไซต์และความพร้อมใช้งานของข้อความ หากระบบรักษาความปลอดภัยบล็อกการเข้าถึง ให้ตรวจการตั้งค่าของระบบนั้นด้วย การดำเนินการเหล่านี้ช่วยระบุและนำอุปสรรคทางเทคนิคออก จากนั้นตรวจสอบตัวหน้าเว็บเองว่าให้คำตอบที่ชัดเจนต่อคำถามเฉพาะของกลุ่มผู้ชมหรือไม่

<div class="section" role="doc-bibliography" aria-label="แหล่งที่มา">

### แหล่งที่มา

- [OpenAI: ภาพรวมโปรแกรมรวบรวมข้อมูล (OAI-SearchBot, GPTBot, ChatGPT-User)](https://platform.openai.com/docs/bots)
- [Anthropic: โปรแกรมรวบรวมข้อมูลของ Claude และวิธีควบคุมการเข้าถึง](https://support.anthropic.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler)
- [Perplexity: โปรแกรมรวบรวมข้อมูลและการตั้งค่าความปลอดภัยของเว็บไซต์](https://docs.perplexity.ai/guides/bots)
- [Google: ภาพรวมโปรแกรมรวบรวมข้อมูลและโทเค็น Google-Extended](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers)

</div>







<div class="aside" data-semantic="ailoot-link" aria-label="Ailoot">

สำรวจ Ailoot ต่อได้ที่ [ailoot.ai](https://ailoot.ai/)

</div>

## คำถามที่พบบ่อย

### ทำไมเพิ่มกลุ่ม crawler แบบระบุชื่อแล้วเส้นทางที่บล็อกใน User-agent: * อาจเปิดอีก?

crawler ที่ตรงกับกลุ่มระบุชื่อจะใช้กฎของกลุ่มนั้น ไม่สืบทอดกลุ่ม wildcard ต้องใส่กฎ Disallow ของเส้นทางที่จำกัดซ้ำในทุกกลุ่มระบุชื่อที่อนุญาต

### อนุญาต crawler ค้นหาแล้วผู้ช่วยจะอ้างหน้าเว็บแน่นอนหรือไม่?

ไม่แน่นอน ตรวจ robots.txt ข้อความในซอร์สหน้า sitemap และบันทึกเซิร์ฟเวอร์เพื่อยืนยันการเข้าถึง การเข้าถึงได้หรือมีการเยี่ยมชมไม่ได้พิสูจน์ว่าผู้ช่วยจะเลือกหน้าไปตอบ


## Ailoot · บริษัทและพอร์ตโฟลิโอโครงการของบริษัท

Ailoot อาศัยประสบการณ์การดำเนินงานที่สั่งสม ฐานลูกค้าขนาดใหญ่ บริการที่เสถียร และการติดตาม KPI อย่างต่อเนื่อง

บริษัทและพอร์ตโฟลิโอโครงการของบริษัท: ลูกค้าหลายล้านราย; ยอดขายระดับหลายพันล้านต่อเดือน.

Ailoot นำประสบการณ์การดำเนินงานนี้มาใช้เพื่อให้เข้าถึงฟังก์ชัน AI ผ่าน API ในผลิตภัณฑ์ของลูกค้า เอเจนต์ แอปพลิเคชัน และระบบอัตโนมัติ