Các trang của mỗi trang web thường xuyên được thu thập thông tin bởi rô bốt tìm kiếm, chúng xử lý thông tin trên trang web để có sẵn theo yêu cầu của người dùng trong các công cụ tìm kiếm. Lượt truy cập của khách truy cập từ các công cụ tìm kiếm có tác động tích cực đến lưu lượng truy cập trang web và kích thích sự phát triển của tài nguyên. Tuy nhiên, nếu có các trang trên trang web, thông tin trên đó không dành cho đối tượng Internet (ví dụ: trang cá nhân của người dùng hoặc trang đăng ký), thì việc chuyển đổi từ công cụ tìm kiếm sang các trang đó là không cần thiết và nó tốt hơn là cấm thông tin này lập chỉ mục.
Cần thiết
- - có trang web của riêng bạn
- - để biết các liên kết đến các trang, việc lập chỉ mục của các trang đó nên bị cấm.
- - có ít nhất kiến thức cơ bản về HTML
Hướng dẫn
Bước 1
Để ngăn không cho rô bốt tìm kiếm lập chỉ mục các trang nhất định của trang web, bạn cần thực hiện các thay đổi đối với tệp robots.txt, nếu tệp đã có trên trang web của bạn hoặc tạo tệp này.
Bước 2
Nếu tệp robots.txt đã được tải lên trang web và có thể chỉnh sửa tệp này trực tiếp từ bảng điều khiển tài nguyên, thì hãy mở robots.txt thông qua dịch vụ web để chỉnh sửa.
Bước 3
Nếu không có cách nào để thực hiện thay đổi đối với tệp mong muốn trực tiếp từ bảng điều khiển, hãy mở robots.txt trong trình duyệt bằng cách nhấp vào liên kết đến tệp này. Sao chép tất cả dữ liệu từ trang mở ra và dán vào trang tính trong Notepad.
Bước 4
Nếu không có tệp robots.txt trên trang web, hãy mở chương trình "Notepad", trong tài liệu mới, bạn sẽ cần nhập mã cần thiết.
Bước 5
Trên một trang giấy trắng của tài liệu văn bản, hãy viết dòng bắt buộc đầu tiên:
Đại lý người dùng: *
Bước 6
Sau đó, chuyển sang dòng tiếp theo bằng cách nhấn phím Enter và nhập mã sau:
Disallow: / index / page3Disallow: cho biết không lập chỉ mục và / index / page3 là một liên kết đến một trang không cần được lập chỉ mục. Thay vì liên kết / index / page3, hãy chèn một liên kết đến trang của trang web mà bạn muốn chặn để rô bốt xử lý.
Bước 7
Lưu ý rằng bản thân tên miền bị thiếu ở đầu liên kết; sự hiện diện của nó trong mục nhập ngụ ý dấu gạch chéo về phía trước. Khi thu thập thông tin một trang web, rô bốt tìm kiếm sẽ tự động chèn tên miền vào các liên kết như vậy. Do đó, hãy viết liên kết đến các trang cần thiết theo cách này.
Bước 8
Sau khi không cho phép: bạn không chỉ có thể đặt liên kết đến một trang cụ thể mà còn có thể đặt liên kết đến bất kỳ phần hoặc thư mục nào của trang web. Tương tự, bạn có thể cấm lập chỉ mục phần mong muốn của trang web.
Bước 9
Nếu cần cấm robot xử lý một số phần khác nhau của tài nguyên, hãy viết liên kết đến từng phần hoặc trang trên một dòng mới, ở đầu dòng đừng quên đặt mục Disallow:.
Bước 10
Để hoàn tất việc thay đổi robots.txt, hãy nhấp vào nút "Lưu" trong khi chỉnh sửa tệp trong bảng điều khiển hoặc lưu tài liệu văn bản với các mục nhập dưới tên robots.txt và tải tệp này lên trang web.
