Cách mở trang web của bạn cho trình thu thập dữ liệu tìm kiếm của ChatGPT, Claude và Perplexity

Bạn đã xây dựng một trang web hoặc sản phẩm, nhưng khi có người hỏi “hãy giới thiệu một dịch vụ cho việc này”, ChatGPT, Claude và Perplexity lại không nhắc đến nó. Bạn nên kiểm tra xem trợ lý có thể đọc trang web của mình hay không và liệu quyền truy cập có bị chặn không.

Không có nút nào để “xuất hiện trong câu trả lời của AI”, và không ai có thể đảm bảo trang web sẽ được trích dẫn. ChatGPT, Claude và Perplexity có các trình thu thập dữ liệu tìm kiếm riêng: bạn có thể cho phép chúng truy cập trang web thông qua robots.txt. Sau đó, hãy kiểm tra xem chúng có thể truy cập văn bản trên trang hay không và liệu bảo mật của trang web có cản trở chúng không.

“Hiển thị với AI” nghĩa là gì?#

Khi có người hỏi ChatGPT hoặc Perplexity “tôi có thể đọc về X ở đâu?” hoặc “tôi nên chọn dịch vụ nào?”, đôi khi trợ lý sẽ tìm kiếm trên web và thêm liên kết đến các trang. Để trang của bạn lọt vào danh sách ứng viên này, trình thu thập dữ liệu của trợ lý phải đọc được trang và không bị từ chối truy cập.

Có ba điều cần kiểm tra trên trang web của bạn:

• trình thu thập dữ liệu có thể truy cập trang web: nó không bị chặn trong robots.txt và các biện pháp bảo mật không ngăn cản việc truy cập;
• trình thu thập dữ liệu có thể thấy văn bản trên trang, chứ không chỉ là một khung trống được trình duyệt điền nội dung;
• trang trả lời một câu hỏi cụ thể một cách trung thực và rõ ràng, thay vì thay câu trả lời bằng một danh sách từ khóa.

Hãy bắt đầu bằng quyền truy cập: nếu trình thu thập dữ liệu không đọc được trang, nó cũng sẽ không nhận được phần văn bản hữu ích trên đó.

Trình thu thập dữ liệu tìm kiếm khác với trình thu thập dữ liệu huấn luyện như thế nào?#

Nên cho phép hoặc chặn quyền truy cập riêng cho từng trình thu thập dữ liệu. Quyết định chung chung “cho AI vào trang web” không tính đến sự khác nhau giữa nhiệm vụ của chúng.

• Trình thu thập dữ liệu tìm kiếm giúp các trang của bạn xuất hiện trong câu trả lời của trợ lý khi người dùng đặt câu hỏi. Hãy cho phép trình này nếu bạn muốn trang web của mình sẵn có để tìm kiếm.
• Trình thu thập dữ liệu huấn luyện thu thập văn bản có thể được dùng để huấn luyện các phiên bản mô hình trong tương lai. Bạn tự quyết định có cho phép hay không; điều này không ảnh hưởng trực tiếp đến việc trang của bạn có xuất hiện trong câu trả lời tìm kiếm hiện tại hay không.

Tài liệu của OpenAI đưa ra một ví dụ: bạn có thể cho phép trình thu thập dữ liệu tìm kiếm truy cập trang web trong khi chặn trình thu thập dữ liệu huấn luyện, để văn bản trên trang không được dùng cho việc huấn luyện. Hai cài đặt này được cấu hình độc lập trong cùng một tệp.

Tên trình thu thập dữ liệu của ChatGPT, Claude và Perplexity là gì?#

Để cấu hình quyền truy cập, bạn cần tên chính xác của trình thu thập dữ liệu (user-agent), được khai báo trong robots.txt. Bảng dưới đây liệt kê tên và chức năng theo tài liệu chính thức của từng nhà phát triển tính đến tháng 9 năm 2026.

Các trình thu thập dữ liệu ChatGPT-User, Claude-User và Perplexity-User truy cập trang theo yêu cầu của một người trong cuộc trò chuyện, nhưng mỗi nhà phát triển có quy tắc truy cập khác nhau. OpenAI cho biết các quy tắc trong robots.txt có thể không áp dụng cho ChatGPT-User. Perplexity cho biết Perplexity-User thường bỏ qua các quy tắc đó vì người dùng là bên khởi tạo lượt truy cập. Anthropic kiểm soát quyền truy cập của Claude-User thông qua robots.txt: nếu bạn chặn trình này ở đó, Claude sẽ không truy xuất trang để đáp ứng yêu cầu của người dùng. Quyền truy cập cho trình thu thập dữ liệu tìm kiếm được cấu hình riêng.

Google-Extended không có dòng user-agent riêng khi thu thập dữ liệu—đây chỉ là mã thông báo kiểm soát trong robots.txt. Mã này xác định liệu nội dung của bạn có thể được dùng cho AI tạo sinh của Google hay không và không ảnh hưởng đến Google Search thông thường.

Nếu muốn xây dựng một trang web có cấu trúc rõ ràng và văn bản dễ truy cập, hãy suy nghĩ về cách tổ chức thông tin.

Cách cho phép trình thu thập dữ liệu trong robots.txt: từng bước#

robots.txt là tệp văn bản thuần nằm ở thư mục gốc của trang web, có thể truy cập tại địa chỉ như https://example.com/robots.txt. Trình thu thập dữ liệu đọc tệp này trước khi thu thập và làm theo hướng dẫn, ngoại trừ các trường hợp truy cập theo yêu cầu của người dùng đã nêu ở trên.

1. Mở tệp hiện tại. Nhập địa chỉ trang web vào trình duyệt và thêm /robots.txt. Kiểm tra nội dung đã có trong tệp và xem các trình thu thập dữ liệu bạn cần có vô tình bị chặn bởi dòng Disallow: / hay không. Đồng thời tìm các dòng Disallow: dành cho khu vực bị hạn chế—trang tài khoản, trang thanh toán, phần quản trị: bạn sẽ cần chúng ở bước tiếp theo.
2. Thêm một nhóm cho trình thu thập dữ liệu tìm kiếm của các trợ lý. Mỗi nhóm chỉ định tên trình thu thập dữ liệu và các quy tắc truy cập. Để cho phép thu thập dữ liệu, hãy dùng Allow: /. Trình thu thập dữ liệu tuân theo quy tắc trong nhóm có tên của nó được chỉ định riêng; nó không lấy quy tắc từ nhóm User-agent: * chung. Các hạn chế chỉ xuất hiện trong nhóm User-agent: * không áp dụng cho trình thu thập dữ liệu đó. Nếu có khu vực bị hạn chế, hãy lặp lại các dòng Disallow: tương tự trong từng nhóm mới, nếu không các khu vực ấy sẽ mở cho trình thu thập dữ liệu đó.
3. Đưa ra quyết định riêng về trình thu thập dữ liệu huấn luyện. Nếu không muốn văn bản được dùng để huấn luyện, hãy đặt Disallow: / cho GPTBot và ClaudeBot. Việc này không ảnh hưởng đến khả năng hiển thị trong tìm kiếm.
4. Lưu tệp ở thư mục gốc của trang web và kiểm tra xem tệp mở được tại /robots.txt hay không. Nếu bạn có tên miền phụ (ví dụ blog.example.com), mỗi tên miền cần tệp riêng—trình thu thập dữ liệu đọc tệp thuộc về từng tên miền phụ.

Trước khi sao chép ví dụ, hãy kiểm tra các giới hạn đối với khu vực bị hạn chế. Nếu bạn chỉ để Disallow: /dashboard/ trong User-agent: *, dòng này sẽ không áp dụng cho `OAI-SearchBot vì trình này có nhóm riêng. Hãy liệt kê các đường dẫn bị hạn chế trong từng nhóm mà bạn cho phép trình thu thập dữ liệu truy cập.

Trong ví dụ dưới đây, trình thu thập dữ liệu tìm kiếm của các trợ lý được phép truy cập, nhưng khu vực hạn chế /dashboard/ bị chặn trực tiếp trong nhóm của chúng; trình thu thập dữ liệu huấn luyện bị chặn hoàn toàn. Chặn trình thu thập dữ liệu huấn luyện là tùy chọn—đó là quyết định của bạn, và bạn nên thay danh sách đường dẫn bị hạn chế bằng các đường dẫn của mình.

# Cho phép trình thu thập dữ liệu tìm kiếm của các trợ lý, nhưng chặn các khu vực bị hạn chế
User-agent: OAI-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: Claude-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: PerplexityBot
Allow: /
Disallow: /dashboard/

# Chặn trình thu thập dữ liệu huấn luyện (không bắt buộc)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# Sơ đồ trang web giúp trình thu thập dữ liệu tìm thấy mọi trang
Sitemap: https://example.com/sitemap.xml

Theo tài liệu của OpenAI và Perplexity, hệ thống của họ có thể cần khoảng một ngày để cập nhật các thay đổi trong robots.txt. Đừng kỳ vọng có hiệu lực ngay sau khi lưu tệp.

Trên một trang web đang hoạt động thì sẽ như thế nào?#

Trong ví dụ về cài đặt robots.txt được mô tả, tên các trình thu thập dữ liệu của trợ lý—GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, PerplexityBot, Perplexity-User, Google-Extended và các tên khác—được gom vào một nhóm. Bên dưới chúng là Allow: / và cùng các dòng Disallow: dành cho khu vực bị hạn chế như trong nhóm User-agent: * chung: /dashboard/, /admin/, /login, /account/, /order/ và các đường dẫn khác. URL của sơ đồ trang web được liệt kê ở cuối tệp bằng chỉ thị Sitemap:.

Các hạn chế được lặp lại trong nhóm trình thu thập dữ liệu của trợ lý để những khu vực bị hạn chế cũng bị chặn đối với chúng. Bạn có thể mở /robots.txt của bất kỳ trang web nào để xem cách cấu hình—tệp này luôn công khai.

Điều gì khác giúp trình thu thập dữ liệu hiểu trang web?#

Ngay cả khi được phép thu thập, trình thu thập dữ liệu vẫn có thể không nhận được nội dung trang. Ngoài quy tắc truy cập, hãy kiểm tra cách trang web cung cấp văn bản và giúp mọi người tìm thấy nội dung.

• Văn bản có sẵn ngay lập tức. Nếu tập lệnh hiển thị nội dung trang trong trình duyệt, một số trình thu thập dữ liệu sẽ chỉ thấy một khung trang trống. Để kiểm tra, hãy mở trang, chọn “xem mã nguồn trang” và tìm văn bản của bạn. Nếu văn bản không có ở đó mà chỉ xuất hiện trong chế độ xem trang thông thường, bạn cần xem xét cách trang được cung cấp.
• Có sơ đồ trang web. Tệp sitemap.xml liệt kê tất cả các trang của bạn. Tệp giúp trình thu thập dữ liệu không bỏ sót nội dung. Thêm liên kết đến tệp này trong robots.txt bằng dòng Sitemap:.
• Câu trả lời rõ ràng với con người. Trình thu thập dữ liệu của các trợ lý tìm những trang trả lời câu hỏi. Tiêu đề rõ ràng, câu trả lời ngắn ở phần đầu và cách diễn đạt trung thực hiệu quả hơn một danh sách từ khóa.

Vì sao trang web có thể vô hình với AI?#

Nếu trang web của bạn không xuất hiện trong câu trả lời, hãy kiểm tra các rào cản truy cập có thể có sau đây.

• Trình thu thập dữ liệu bị chặn trong robots.txt. Đôi khi tệp có một hạn chế chung chặn các trình thu thập dữ liệu bạn cần. Kiểm tra xem có Disallow: / trong nhóm áp dụng cho trình thu thập dữ liệu của các trợ lý hay không.
• Văn bản không hiển thị nếu thiếu trình duyệt. Nếu tập lệnh tạo nội dung, trình thu thập dữ liệu có thể không nhận được nội dung đó. Cách kiểm tra mã nguồn đã được mô tả ở trên.
• Hệ thống bảo mật của trang web chặn trình thu thập dữ liệu. Nhiều trang web dùng biện pháp bảo vệ trước lưu lượng truy cập không mong muốn—ví dụ như Cloudflare. Biện pháp này có thể chặn truy cập bất kể robots.txt quy định thế nào. Bạn dùng robots.txt để kiểm soát trình thu thập dữ liệu được phép truy cập những đâu, còn hệ thống bảo mật của trang web quyết định có cho yêu cầu của nó đi qua hay không. Perplexity khuyên nên cho phép thủ công các trình thu thập dữ liệu trong cài đặt bảo mật theo tên user-agent và địa chỉ IP đã công bố. Hãy đặt quy tắc thu thập dữ liệu thông qua robots.txt: Anthropic cũng cảnh báo rằng chỉ chặn trình thu thập dữ liệu bằng địa chỉ IP là không đáng tin cậy. Nếu dùng dịch vụ tương tự, hãy kiểm tra cài đặt của dịch vụ đó.

Kiểm tra từng nguyên nhân một: bắt đầu với robots.txt, sau đó xem mã nguồn trang và cuối cùng kiểm tra cài đặt bảo mật. Việc không có những rào cản này tự nó không đảm bảo trang web của bạn sẽ xuất hiện trong câu trả lời.

Làm thế nào kiểm tra trình thu thập dữ liệu đã truy cập trang chưa?#

Việc kiểm tra này giúp đánh giá khả năng truy cập của trang web và tìm bản ghi về các lượt truy cập của trình thu thập dữ liệu.

• Mở https://example.com/robots.txt trong trình duyệt—tệp sẽ mở được và chứa các nhóm cần thiết.
• Mở sơ đồ trang web tại https://example.com/sitemap.xml—tệp sẽ mở được và liệt kê các trang.
• Xem mã nguồn của một trang quan trọng và tìm văn bản của bạn trong đó.
• Nếu có quyền truy cập nhật ký máy chủ, hãy tìm tên trình thu thập dữ liệu—OAI-SearchBot, PerplexityBot và các tên khác. Có thể nhận biết lượt truy cập của chúng qua user-agent.

Việc kiểm tra không cho biết liệu trợ lý có chọn chính trang của bạn hay không. Điều đó phụ thuộc vào câu hỏi của người dùng và mức độ trang trả lời tốt câu hỏi ấy.

Những điều cài đặt này không đảm bảo#

Quyền truy cập trang web và việc trang xuất hiện trong câu trả lời của trợ lý là hai kết quả khác nhau. Các cài đặt này có giới hạn.

• Không đảm bảo được trích dẫn. Mở quyền truy cập chỉ tạo cơ hội cho trình thu thập dữ liệu đọc trang web của bạn. Việc trợ lý có trích dẫn bạn hay không là do trợ lý quyết định dựa trên câu hỏi.
• Không ai cam kết thứ hạng hoặc lưu lượng truy cập. Cài đặt robots.txt mở quyền truy cập nhưng không đảm bảo vị trí trong kết quả tìm kiếm.
• Một số trình thu thập dữ liệu có thể bỏ qua quy tắc của tệp. Điều này áp dụng với một số trình thu thập dữ liệu truy cập theo yêu cầu trực tiếp của người dùng—ví dụ ChatGPT-User của OpenAI và Perplexity-User của Perplexity.
• Các quy tắc có thể thay đổi. Nhà phát triển cập nhật tên trình thu thập dữ liệu và điều kiện. Bạn nên kiểm tra tài liệu vài tháng một lần; các liên kết nằm ở cuối bài.

Bạn kiểm soát quyền truy cập và chất lượng trang web, nhưng trợ lý quyết định có đưa liên kết vào hay không. Mục tiêu của những cài đặt này là giúp một trang hữu ích sẵn có để tìm kiếm và đọc, mà không cố “đánh lừa” trợ lý.

Tiếp theo là gì#

Mở robots.txt, thêm các trình thu thập dữ liệu tìm kiếm của trợ lý, rồi kiểm tra sơ đồ trang web và khả năng truy cập văn bản. Nếu hệ thống bảo mật đang chặn truy cập, hãy kiểm tra cả cài đặt của nó. Những việc này giúp xác định và loại bỏ rào cản kỹ thuật. Sau đó, hãy xem lại nội dung các trang: chúng có đưa ra câu trả lời rõ ràng cho những câu hỏi cụ thể của đối tượng độc giả không?