Hầu hết mọi quản trị viên web đều cố gắng tối ưu hóa các trang trên trang web của mình theo cách để có được nhiều phần tử được lập chỉ mục nhất có thể. Nhưng ngược lại trong một số trường hợp, bạn cần ẩn một số trang, ví dụ như biểu mẫu nhập dữ liệu đăng ký, khôi phục mật khẩu, v.v.
Nó là cần thiết
Chỉnh sửa tệp Robots.txt
Hướng dẫn
Bước 1
Cách dễ nhất để đóng lập chỉ mục của một số phần hoặc toàn bộ trang web cụ thể là tạo các mục nhập thích hợp trong tệp robots.txt. Anh ta được sử dụng như một hướng dẫn cho các công cụ tìm kiếm. Khi vào các trang của trang web, rô bốt tìm kiếm đề cập đến tệp này, nếu không có ở đó, nó sẽ lập chỉ mục toàn bộ trang web, nếu không, nó sẽ tuân theo các khuyến nghị được chỉ định trong tệp này.
Bước 2
Nếu bạn tự tạo trang web của mình và bạn không có ứng dụng như vậy, dưới dạng tài liệu văn bản chỉ ra các điều cấm, bạn có thể dễ dàng tự tạo trang web đó. Mở một tài liệu văn bản mới, chẳng hạn, bằng chương trình Notepad. Đặt các dòng sau vào nội dung của tài liệu: User-agent: * Disallow: /file.htmlDisallow: / directory /
Bước 3
Bây giờ chúng ta hãy tìm hiểu những gì bạn đã yêu cầu công cụ tìm kiếm như một nhiệm vụ. Dấu "*" đối diện với User-agent có nghĩa là lệnh này hoàn toàn phải được thực thi bởi tất cả các hệ thống tệp. Ví dụ: nếu bạn viết “Yandex” thay vì “*”, kháng nghị này sẽ chỉ được đọc bởi rô bốt của công cụ tìm kiếm Yandex. Câu lệnh Disallow cấm lập chỉ mục của một phần (thư mục) hoặc tệp (tệp.html) cụ thể.
Bước 4
Sau khi biên dịch tệp robots.txt, bạn có thể truy cập trực tiếp vào văn bản trên các trang của trang web. Như bạn đã biết, các công cụ tìm kiếm không thích có nhiều hơn 3 liên kết hoạt động bên ngoài trên các trang của bạn. Nhỡ chảy máu mũi mà đăng 5 link trở lên thì sao. Trong những trường hợp này, bạn có thể sử dụng thuộc tính hoặc thẻ.
Bước 5
Để đóng các liên kết khỏi việc lập chỉ mục của công cụ tìm kiếm Google, bạn cần đưa liên kết về dạng sau: liên kết neo. Phần nội dung của thuộc tính phải được chèn vào bất kỳ phần nào của liên kết, đừng quên phân tách phần nội dung đó bằng dấu cách, tức là thuộc tính có thể được đặt giữa "a" và "href" hoặc giữa liên kết và liên kết của nó.
Bước 6
Để đóng các liên kết khỏi việc lập chỉ mục bởi công cụ tìm kiếm Yandex, bạn cần đưa liên kết về dạng sau: liên kết neo. Thẻ được đặt ở đầu và cuối liên kết. Đừng quên rằng thẻ này được ghép nối: phần thứ hai, không giống như phần đầu tiên, đi kèm với dấu "/".
