Cách gửi lại tệp Robots.txt đã cập nhật hoặc mới

txt rô bốt

Đại lý của chúng tôi xử lý tư vấn tìm kiếm hữu cơ cho một số nhà cung cấp SaaS trong ngành. Một khách hàng mà chúng tôi mới bắt đầu làm việc gần đây đã thực hiện một quy trình khá chuẩn, đặt ứng dụng của họ trên một miền phụ và chuyển trang tài liệu quảng cáo của họ sang miền cốt lõi. Đây là một thông lệ tiêu chuẩn vì nó cho phép cả nhóm sản xuất và nhóm tiếp thị của bạn thực hiện cập nhật khi cần thiết mà không phụ thuộc vào nhóm khác.

Bước đầu tiên trong việc phân tích tình trạng tìm kiếm không phải trả tiền của họ, chúng tôi đã đăng ký cả miền ứng dụng và tài liệu quảng cáo trong Quản trị viên web. Đó là khi chúng tôi xác định được một vấn đề ngay lập tức. Tất cả các trang ứng dụng đã bị các công cụ tìm kiếm chặn lập chỉ mục. Chúng tôi đã điều hướng đến mục nhập robots.txt của họ trong Quản trị viên web và ngay lập tức xác định được vấn đề.

Trong khi chuẩn bị cho việc di chuyển, nhóm phát triển của họ không muốn tên miền phụ của ứng dụng được lập chỉ mục bởi tìm kiếm, vì vậy họ không cho phép truy cập vào các công cụ tìm kiếm. Tệp robots.txt là một tệp được tìm thấy trong thư mục gốc của trang web của bạn - yourdomain.com/robots.txt - cho phép công cụ tìm kiếm biết liệu họ có nên thu thập dữ liệu trang web hay không. Bạn có thể viết các quy tắc để cho phép hoặc không cho phép lập chỉ mục trên toàn bộ trang web hoặc các đường dẫn cụ thể. Bạn cũng có thể thêm một dòng để chỉ định tệp sơ đồ trang web của mình.

Mô hình robots.txt tệp có mục nhập sau ngăn trang web được thu thập thông tin và lập chỉ mục trong bảng xếp hạng kết quả tìm kiếm:

User-Agent: * Disallow: /

Nó nên được viết như sau:

Tác nhân người dùng: * Cho phép: /

Sau đó, cung cấp quyền cho bất kỳ công cụ tìm kiếm nào thu thập dữ liệu trang web mà chúng có thể truy cập vào bất kỳ thư mục hoặc tệp nào trong trang web.

Tuyệt vời ... vì vậy bây giờ robots.txt tệp hoàn hảo nhưng làm sao Google biết được và khi nào họ sẽ kiểm tra lại trang web? Chà, bạn hoàn toàn có thể yêu cầu Google kiểm tra tệp robots.txt của bạn, nhưng nó không quá trực quan.

Điều hướng đến Bảng điều khiển tìm kiếm của Google Search Console đến Thu thập thông tin> Trình kiểm tra robots.txt. Bạn sẽ thấy nội dung của tệp robots.txt được thu thập gần đây nhất trong Tester. Nếu bạn muốn gửi lại tệp robots.txt của mình, hãy nhấp vào Gửi và một cửa sổ bật lên sẽ xuất hiện với một số tùy chọn.

gửi lại tệp robots.txt

Lựa chọn cuối cùng là Yêu cầu Google cập nhật. Nhấp vào nút Gửi màu xanh lam bên cạnh tùy chọn đó và sau đó điều hướng trở lại Thu thập thông tin> Trình kiểm tra robots.txt menu tùy chọn để tải lại trang. Bây giờ, bạn sẽ thấy tệp robots.txt được cập nhật cùng với dấu ngày tháng cho thấy rằng tệp đã được thu thập thông tin lại.

Nếu bạn không thấy phiên bản cập nhật, bạn có thể nhấp vào gửi và chọn Xem phiên bản đã tải lên để điều hướng đến tệp robots.txt thực của bạn. Nhiều hệ thống sẽ lưu tệp này vào bộ nhớ cache. Trên thực tế, IIS tạo tệp này động dựa trên các quy tắc được nhập thông qua giao diện người dùng của chúng. Rất có thể bạn sẽ phải cập nhật các quy tắc và làm mới bộ nhớ cache để xuất bản tệp robots.txt mới.

robots-txt-tester

Bạn nghĩ gì?

Trang web này sử dụng Akismet để giảm spam. Tìm hiểu cách xử lý dữ liệu nhận xét của bạn.