# Cách mở trang web của bạn cho trình thu thập dữ liệu tìm kiếm của ChatGPT, Claude và Perplexity > Tên các trình thu thập dữ liệu tìm kiếm và huấn luyện, ví dụ robots.txt đầy đủ, sơ đồ trang web, khả năng truy cập văn bản và các giới hạn về trích dẫn. Source: https://ailoot.ai/blog/vi/ai-search-crawlers-robots-txt/ Canonical: https://ailoot.ai/blog/vi/ai-search-crawlers-robots-txt/ Language: vi Publisher: Ailoot (https://ailoot.ai/) Translation: guide-144 Revision: sha256-d21161e1002000a520b36dc4d85fd72f52af45d7b021a9b4c99eb076b4574b7e Bạn đã xây dựng một trang web hoặc sản phẩm, nhưng khi có người hỏi “hãy giới thiệu một dịch vụ cho việc này”, ChatGPT, Claude và Perplexity lại không nhắc đến nó. Bạn nên kiểm tra xem trợ lý có thể đọc trang web của mình hay không và liệu quyền truy cập có bị chặn không. Không có nút nào để “xuất hiện trong câu trả lời của AI”, và không ai có thể đảm bảo trang web sẽ được trích dẫn. ChatGPT, Claude và Perplexity có các trình thu thập dữ liệu tìm kiếm riêng: bạn có thể cho phép chúng truy cập trang web thông qua `robots.txt`. Sau đó, hãy kiểm tra xem chúng có thể truy cập văn bản trên trang hay không và liệu bảo mật của trang web có cản trở chúng không.
Hướng dẫn thực tế về cách sử dụng Ailoot có trong [tài liệu](https://ailoot.ai/docs/).
## “Hiển thị với AI” nghĩa là gì?
Điểm chính Các trợ lý AI có trình thu thập dữ liệu phục vụ những nhiệm vụ khác nhau: một số thu thập trang web để tìm kiếm bên trong trợ lý, trong khi số khác thu thập văn bản để huấn luyện mô hình. Loại thứ nhất có ý nghĩa đối với câu trả lời tìm kiếm. Bạn có thể cho phép trình thu thập dữ liệu truy cập, nhưng điều đó không buộc trợ lý phải trích dẫn bạn—không ai có thể đảm bảo việc được trích dẫn.
Khi có người hỏi ChatGPT hoặc Perplexity “tôi có thể đọc về X ở đâu?” hoặc “tôi nên chọn dịch vụ nào?”, đôi khi trợ lý sẽ tìm kiếm trên web và thêm liên kết đến các trang. Để trang của bạn lọt vào danh sách ứng viên này, trình thu thập dữ liệu của trợ lý phải đọc được trang và không bị từ chối truy cập. Có ba điều cần kiểm tra trên trang web của bạn: - trình thu thập dữ liệu có thể truy cập trang web: nó không bị chặn trong `robots.txt` và các biện pháp bảo mật không ngăn cản việc truy cập; - trình thu thập dữ liệu có thể thấy văn bản trên trang, chứ không chỉ là một khung trống được trình duyệt điền nội dung; - trang trả lời một câu hỏi cụ thể một cách trung thực và rõ ràng, thay vì thay câu trả lời bằng một danh sách từ khóa. Hãy bắt đầu bằng quyền truy cập: nếu trình thu thập dữ liệu không đọc được trang, nó cũng sẽ không nhận được phần văn bản hữu ích trên đó. ## Trình thu thập dữ liệu tìm kiếm khác với trình thu thập dữ liệu huấn luyện như thế nào?
Điểm chính Mỗi trợ lý lớn đều có các trình thu thập dữ liệu với nhiệm vụ riêng. Trình thu thập dữ liệu tìm kiếm thu thập trang web để chúng có thể xuất hiện trong câu trả lời và kết quả tìm kiếm của trợ lý. Trình thu thập dữ liệu huấn luyện thu thập văn bản để huấn luyện mô hình. Các cài đặt này độc lập với nhau: bạn có thể cho phép trình thu thập dữ liệu tìm kiếm và chặn trình thu thập dữ liệu huấn luyện.
Nên cho phép hoặc chặn quyền truy cập riêng cho từng trình thu thập dữ liệu. Quyết định chung chung “cho AI vào trang web” không tính đến sự khác nhau giữa nhiệm vụ của chúng. - **Trình thu thập dữ liệu tìm kiếm** giúp các trang của bạn xuất hiện trong câu trả lời của trợ lý khi người dùng đặt câu hỏi. Hãy cho phép trình này nếu bạn muốn trang web của mình sẵn có để tìm kiếm. - **Trình thu thập dữ liệu huấn luyện** thu thập văn bản có thể được dùng để huấn luyện các phiên bản mô hình trong tương lai. Bạn tự quyết định có cho phép hay không; điều này không ảnh hưởng trực tiếp đến việc trang của bạn có xuất hiện trong câu trả lời tìm kiếm hiện tại hay không. Tài liệu của OpenAI đưa ra một ví dụ: bạn có thể cho phép trình thu thập dữ liệu tìm kiếm truy cập trang web trong khi chặn trình thu thập dữ liệu huấn luyện, để văn bản trên trang không được dùng cho việc huấn luyện. Hai cài đặt này được cấu hình độc lập trong cùng một tệp. ## Tên trình thu thập dữ liệu của ChatGPT, Claude và Perplexity là gì?
Điểm chính Với OpenAI, trình thu thập dữ liệu tìm kiếm là OAI-SearchBot, trình thu thập dữ liệu huấn luyện là GPTBot và ChatGPT-User truy cập theo yêu cầu của người dùng. Với Anthropic: Claude-SearchBot (tìm kiếm), ClaudeBot (huấn luyện) và Claude-User (theo yêu cầu của người dùng). Với Perplexity: PerplexityBot (tìm kiếm) và Perplexity-User (theo yêu cầu của người dùng). Google có mã thông báo Google-Extended riêng, dùng để kiểm soát việc sử dụng nội dung trang web cho AI tạo sinh.
Để cấu hình quyền truy cập, bạn cần tên chính xác của trình thu thập dữ liệu (user-agent), được khai báo trong `robots.txt`. Bảng dưới đây liệt kê tên và chức năng theo tài liệu chính thức của từng nhà phát triển tính đến tháng 9 năm 2026. | Trình thu thập dữ liệu (user-agent) hoặc mã thông báo | Thuộc về | Chức năng | Có nên cho phép để tăng khả năng hiển thị? | |----|----|----|----| | `OAI-SearchBot` | OpenAI | Hiển thị trang web trong tìm kiếm của ChatGPT | Có | | `GPTBot` | OpenAI | Thu thập văn bản để huấn luyện mô hình | Tùy bạn | | `ChatGPT-User` | OpenAI | Truy cập trang theo yêu cầu của người dùng | Thường là có | | `Claude-SearchBot` | Anthropic | Lập chỉ mục trang web để cải thiện chất lượng tìm kiếm | Có | | `ClaudeBot` | Anthropic | Thu thập văn bản để huấn luyện mô hình | Tùy bạn | | `Claude-User` | Anthropic | Truy cập theo yêu cầu của người dùng Claude | Thường là có | | `PerplexityBot` | Perplexity | Hiển thị và liên kết đến trang web trong tìm kiếm | Có | | `Perplexity-User` | Perplexity | Truy cập theo yêu cầu của người dùng | Thường là có | | `Google-Extended` | Google | Mã thông báo kiểm soát việc sử dụng nội dung trang web cho AI tạo sinh của Google | Tùy bạn | Các trình thu thập dữ liệu `ChatGPT-User`, `Claude-User` và `Perplexity-User` truy cập trang theo yêu cầu của một người trong cuộc trò chuyện, nhưng mỗi nhà phát triển có quy tắc truy cập khác nhau. OpenAI cho biết các quy tắc trong `robots.txt` có thể không áp dụng cho `ChatGPT-User`. Perplexity cho biết `Perplexity-User` thường bỏ qua các quy tắc đó vì người dùng là bên khởi tạo lượt truy cập. Anthropic kiểm soát quyền truy cập của `Claude-User` thông qua `robots.txt`: nếu bạn chặn trình này ở đó, Claude sẽ không truy xuất trang để đáp ứng yêu cầu của người dùng. Quyền truy cập cho trình thu thập dữ liệu tìm kiếm được cấu hình riêng. `Google-Extended` không có dòng user-agent riêng khi thu thập dữ liệu—đây chỉ là mã thông báo kiểm soát trong `robots.txt`. Mã này xác định liệu nội dung của bạn có thể được dùng cho AI tạo sinh của Google hay không và không ảnh hưởng đến Google Search thông thường. Nếu muốn xây dựng một trang web có cấu trúc rõ ràng và văn bản dễ truy cập, hãy suy nghĩ về cách tổ chức thông tin. ## Cách cho phép trình thu thập dữ liệu trong robots.txt: từng bước
Điểm chính Tệp robots.txt nằm ở thư mục gốc của trang web và đặt ra các quy tắc truy cập cho trình thu thập dữ liệu. Để cho phép trình thu thập dữ liệu tìm kiếm của các trợ lý, hãy thêm user-agent của chúng cùng quyền cho phép thu thập dữ liệu. Mỗi tên miền phụ cần có tệp riêng.
`robots.txt` là tệp văn bản thuần nằm ở thư mục gốc của trang web, có thể truy cập tại địa chỉ như `https://example.com/robots.txt`. Trình thu thập dữ liệu đọc tệp này trước khi thu thập và làm theo hướng dẫn, ngoại trừ các trường hợp truy cập theo yêu cầu của người dùng đã nêu ở trên. 1. **Mở tệp hiện tại.** Nhập địa chỉ trang web vào trình duyệt và thêm `/robots.txt`. Kiểm tra nội dung đã có trong tệp và xem các trình thu thập dữ liệu bạn cần có vô tình bị chặn bởi dòng `Disallow: /` hay không. Đồng thời tìm các dòng `Disallow:` dành cho khu vực bị hạn chế—trang tài khoản, trang thanh toán, phần quản trị: bạn sẽ cần chúng ở bước tiếp theo. 2. **Thêm một nhóm cho trình thu thập dữ liệu tìm kiếm của các trợ lý.** Mỗi nhóm chỉ định tên trình thu thập dữ liệu và các quy tắc truy cập. Để cho phép thu thập dữ liệu, hãy dùng `Allow: /`. Trình thu thập dữ liệu tuân theo quy tắc trong nhóm có tên của nó được chỉ định riêng; nó không lấy quy tắc từ nhóm `User-agent: *` chung. Các hạn chế chỉ xuất hiện trong nhóm `User-agent: *` không áp dụng cho trình thu thập dữ liệu đó. Nếu có khu vực bị hạn chế, hãy lặp lại các dòng `Disallow:` tương tự trong từng nhóm mới, nếu không các khu vực ấy sẽ mở cho trình thu thập dữ liệu đó. 3. **Đưa ra quyết định riêng về trình thu thập dữ liệu huấn luyện.** Nếu không muốn văn bản được dùng để huấn luyện, hãy đặt `Disallow: /` cho `GPTBot` và `ClaudeBot`. Việc này không ảnh hưởng đến khả năng hiển thị trong tìm kiếm. 4. **Lưu tệp ở thư mục gốc của trang web** và kiểm tra xem tệp mở được tại `/robots.txt` hay không. Nếu bạn có tên miền phụ (ví dụ `blog.example.com`), mỗi tên miền cần tệp riêng—trình thu thập dữ liệu đọc tệp thuộc về từng tên miền phụ. Trước khi sao chép ví dụ, hãy kiểm tra các giới hạn đối với khu vực bị hạn chế. Nếu bạn chỉ để `Disallow: /dashboard/` trong `User-agent: *`, dòng này sẽ không áp dụng cho `OAI-SearchBot vì trình này có nhóm riêng. Hãy liệt kê các đường dẫn bị hạn chế trong từng nhóm mà bạn cho phép trình thu thập dữ liệu truy cập. Trong ví dụ dưới đây, trình thu thập dữ liệu tìm kiếm của các trợ lý được phép truy cập, nhưng khu vực hạn chế `/dashboard/` bị chặn trực tiếp trong nhóm của chúng; trình thu thập dữ liệu huấn luyện bị chặn hoàn toàn. Chặn trình thu thập dữ liệu huấn luyện là tùy chọn—đó là quyết định của bạn, và bạn nên thay danh sách đường dẫn bị hạn chế bằng các đường dẫn của mình. ``` # Cho phép trình thu thập dữ liệu tìm kiếm của các trợ lý, nhưng chặn các khu vực bị hạn chế User-agent: OAI-SearchBot Allow: / Disallow: /dashboard/ User-agent: Claude-SearchBot Allow: / Disallow: /dashboard/ User-agent: PerplexityBot Allow: / Disallow: /dashboard/ # Chặn trình thu thập dữ liệu huấn luyện (không bắt buộc) User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / # Sơ đồ trang web giúp trình thu thập dữ liệu tìm thấy mọi trang Sitemap: https://example.com/sitemap.xml ``` Theo tài liệu của OpenAI và Perplexity, hệ thống của họ có thể cần khoảng một ngày để cập nhật các thay đổi trong `robots.txt`. Đừng kỳ vọng có hiệu lực ngay sau khi lưu tệp. ## Trên một trang web đang hoạt động thì sẽ như thế nào? Trong ví dụ về cài đặt `robots.txt` được mô tả, tên các trình thu thập dữ liệu của trợ lý—`GPTBot`, `ChatGPT-User`, `OAI-SearchBot`, `ClaudeBot`, `PerplexityBot`, `Perplexity-User`, `Google-Extended` và các tên khác—được gom vào một nhóm. Bên dưới chúng là `Allow: /` và cùng các dòng `Disallow:` dành cho khu vực bị hạn chế như trong nhóm `User-agent: *` chung: `/dashboard/`, `/admin/`, `/login`, `/account/`, `/order/` và các đường dẫn khác. URL của sơ đồ trang web được liệt kê ở cuối tệp bằng chỉ thị `Sitemap:`. Các hạn chế được lặp lại trong nhóm trình thu thập dữ liệu của trợ lý để những khu vực bị hạn chế cũng bị chặn đối với chúng. Bạn có thể mở `/robots.txt` của bất kỳ trang web nào để xem cách cấu hình—tệp này luôn công khai. ## Điều gì khác giúp trình thu thập dữ liệu hiểu trang web?
Điểm chính Sau khi cấu hình quyền truy cập, hãy kiểm tra xem văn bản trên trang có hiển thị mà không cần chạy tập lệnh của trình duyệt hay không, có tệp sitemap.xml hay không và bản thân câu trả lời có rõ ràng hay không.
Ngay cả khi được phép thu thập, trình thu thập dữ liệu vẫn có thể không nhận được nội dung trang. Ngoài quy tắc truy cập, hãy kiểm tra cách trang web cung cấp văn bản và giúp mọi người tìm thấy nội dung. - **Văn bản có sẵn ngay lập tức.** Nếu tập lệnh hiển thị nội dung trang trong trình duyệt, một số trình thu thập dữ liệu sẽ chỉ thấy một khung trang trống. Để kiểm tra, hãy mở trang, chọn “xem mã nguồn trang” và tìm văn bản của bạn. Nếu văn bản không có ở đó mà chỉ xuất hiện trong chế độ xem trang thông thường, bạn cần xem xét cách trang được cung cấp. - **Có sơ đồ trang web.** Tệp `sitemap.xml` liệt kê tất cả các trang của bạn. Tệp giúp trình thu thập dữ liệu không bỏ sót nội dung. Thêm liên kết đến tệp này trong `robots.txt` bằng dòng `Sitemap:`. - **Câu trả lời rõ ràng với con người.** Trình thu thập dữ liệu của các trợ lý tìm những trang trả lời câu hỏi. Tiêu đề rõ ràng, câu trả lời ngắn ở phần đầu và cách diễn đạt trung thực hiệu quả hơn một danh sách từ khóa. ## Vì sao trang web có thể vô hình với AI?
Điểm chính Có ba nguyên nhân cần kiểm tra: trình thu thập dữ liệu bị chặn trong robots.txt; văn bản được tạo bằng tập lệnh và không hiển thị nếu thiếu trình duyệt; hoặc hệ thống bảo mật của trang web chặn trình thu thập dữ liệu. Trong trường hợp thứ nhất, hãy kiểm tra tệp; trường hợp thứ hai, kiểm tra cách cung cấp trang; trường hợp thứ ba, kiểm tra cài đặt bảo mật.
Nếu trang web của bạn không xuất hiện trong câu trả lời, hãy kiểm tra các rào cản truy cập có thể có sau đây. - **Trình thu thập dữ liệu bị chặn trong `robots.txt`.** Đôi khi tệp có một hạn chế chung chặn các trình thu thập dữ liệu bạn cần. Kiểm tra xem có `Disallow: /` trong nhóm áp dụng cho trình thu thập dữ liệu của các trợ lý hay không. - **Văn bản không hiển thị nếu thiếu trình duyệt.** Nếu tập lệnh tạo nội dung, trình thu thập dữ liệu có thể không nhận được nội dung đó. Cách kiểm tra mã nguồn đã được mô tả ở trên. - **Hệ thống bảo mật của trang web chặn trình thu thập dữ liệu.** Nhiều trang web dùng biện pháp bảo vệ trước lưu lượng truy cập không mong muốn—ví dụ như Cloudflare. Biện pháp này có thể chặn truy cập bất kể `robots.txt` quy định thế nào. Bạn dùng `robots.txt` để kiểm soát trình thu thập dữ liệu được phép truy cập những đâu, còn hệ thống bảo mật của trang web quyết định có cho yêu cầu của nó đi qua hay không. Perplexity khuyên nên cho phép thủ công các trình thu thập dữ liệu trong cài đặt bảo mật theo tên user-agent và địa chỉ IP đã công bố. Hãy đặt quy tắc thu thập dữ liệu thông qua `robots.txt`: Anthropic cũng cảnh báo rằng chỉ chặn trình thu thập dữ liệu bằng địa chỉ IP là không đáng tin cậy. Nếu dùng dịch vụ tương tự, hãy kiểm tra cài đặt của dịch vụ đó. Kiểm tra từng nguyên nhân một: bắt đầu với `robots.txt`, sau đó xem mã nguồn trang và cuối cùng kiểm tra cài đặt bảo mật. Việc không có những rào cản này tự nó không đảm bảo trang web của bạn sẽ xuất hiện trong câu trả lời. ## Làm thế nào kiểm tra trình thu thập dữ liệu đã truy cập trang chưa?
Điểm chính Không có bộ đếm trực tiếp cho biết “tôi đã được trích dẫn”. Nhưng bạn có thể kiểm tra những điều cơ bản: robots.txt có mở được không, văn bản có hiển thị trong mã nguồn không và sơ đồ trang web có sẵn không. Lượt truy cập của trình thu thập dữ liệu có thể thấy trong nhật ký máy chủ qua user-agent của chúng.
Việc kiểm tra này giúp đánh giá khả năng truy cập của trang web và tìm bản ghi về các lượt truy cập của trình thu thập dữ liệu. - Mở `https://example.com/robots.txt` trong trình duyệt—tệp sẽ mở được và chứa các nhóm cần thiết. - Mở sơ đồ trang web tại `https://example.com/sitemap.xml`—tệp sẽ mở được và liệt kê các trang. - Xem mã nguồn của một trang quan trọng và tìm văn bản của bạn trong đó. - Nếu có quyền truy cập nhật ký máy chủ, hãy tìm tên trình thu thập dữ liệu—`OAI-SearchBot`, `PerplexityBot` và các tên khác. Có thể nhận biết lượt truy cập của chúng qua user-agent. Việc kiểm tra không cho biết liệu trợ lý có chọn chính trang của bạn hay không. Điều đó phụ thuộc vào câu hỏi của người dùng và mức độ trang trả lời tốt câu hỏi ấy. ## Những điều cài đặt này không đảm bảo Quyền truy cập trang web và việc trang xuất hiện trong câu trả lời của trợ lý là hai kết quả khác nhau. Các cài đặt này có giới hạn. - **Không đảm bảo được trích dẫn.** Mở quyền truy cập chỉ tạo cơ hội cho trình thu thập dữ liệu đọc trang web của bạn. Việc trợ lý có trích dẫn bạn hay không là do trợ lý quyết định dựa trên câu hỏi. - **Không ai cam kết thứ hạng hoặc lưu lượng truy cập.** Cài đặt `robots.txt` mở quyền truy cập nhưng không đảm bảo vị trí trong kết quả tìm kiếm. - **Một số trình thu thập dữ liệu có thể bỏ qua quy tắc của tệp.** Điều này áp dụng với một số trình thu thập dữ liệu truy cập theo yêu cầu trực tiếp của người dùng—ví dụ `ChatGPT-User` của OpenAI và `Perplexity-User` của Perplexity. - **Các quy tắc có thể thay đổi.** Nhà phát triển cập nhật tên trình thu thập dữ liệu và điều kiện. Bạn nên kiểm tra tài liệu vài tháng một lần; các liên kết nằm ở cuối bài. Bạn kiểm soát quyền truy cập và chất lượng trang web, nhưng trợ lý quyết định có đưa liên kết vào hay không. Mục tiêu của những cài đặt này là giúp một trang hữu ích sẵn có để tìm kiếm và đọc, mà không cố “đánh lừa” trợ lý. ## Tiếp theo là gì Mở `robots.txt`, thêm các trình thu thập dữ liệu tìm kiếm của trợ lý, rồi kiểm tra sơ đồ trang web và khả năng truy cập văn bản. Nếu hệ thống bảo mật đang chặn truy cập, hãy kiểm tra cả cài đặt của nó. Những việc này giúp xác định và loại bỏ rào cản kỹ thuật. Sau đó, hãy xem lại nội dung các trang: chúng có đưa ra câu trả lời rõ ràng cho những câu hỏi cụ thể của đối tượng độc giả không?
### Nguồn - [OpenAI: tổng quan về trình thu thập dữ liệu (OAI-SearchBot, GPTBot, ChatGPT-User)](https://platform.openai.com/docs/bots) - [Anthropic: trình thu thập dữ liệu của Claude và cách kiểm soát quyền truy cập](https://support.anthropic.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler) - [Perplexity: trình thu thập dữ liệu và cài đặt bảo mật trang web](https://docs.perplexity.ai/guides/bots) - [Google: tổng quan về trình thu thập dữ liệu và mã thông báo Google-Extended](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers)
Tiếp tục khám phá Ailoot tại [ailoot.ai](https://ailoot.ai/).
## Câu hỏi thường gặp ### Vì sao nhóm crawler có tên có thể mở lại đường đã chặn trong User-agent: *? Crawler có nhóm tên khớp dùng quy tắc nhóm đó, không kế thừa nhóm wildcard. Lặp các Disallow cho đường cần hạn chế trong từng nhóm có tên mà bạn cho phép. ### Cho phép crawler tìm kiếm có bảo đảm trợ lý trích trang tôi không? Không. Kiểm tra robots.txt, văn bản nguồn trang, sitemap và log máy chủ để chứng minh truy cập. Những kiểm tra đó cho biết khả năng truy cập hoặc lượt ghé, không chứng minh trợ lý chọn trang để trả lời. ## Ailoot · Công ty và danh mục dự án của công ty Ailoot dựa trên kinh nghiệm vận hành tích lũy, cơ sở khách hàng lớn, dịch vụ ổn định và việc kiểm soát KPI liên tục. Công ty và danh mục dự án của công ty: hàng triệu khách hàng; doanh số hàng tỷ mỗi tháng. Ailoot áp dụng kinh nghiệm vận hành này để cung cấp quyền truy cập API vào các tính năng AI trong sản phẩm của khách hàng, tác tử, ứng dụng và quy trình tự động hóa.