Các trang được lập chỉ mục bởi các công cụ tìm kiếm đảm bảo lưu lượng truy cập ổn định vào tài nguyên. Nhưng nếu hiện tại trang web của bạn đang được phát triển, thì sự xuất hiện của rô bốt tìm kiếm trên các trang của tài nguyên là điều không mong muốn, vì thông tin về các phần chưa được điền vào tìm kiếm có thể tước đi nguồn khách truy cập mục tiêu của bạn trong một thời gian dài. Để tạm thời bảo vệ trang web khỏi bị rô bốt thu thập dữ liệu, bạn cần cấm nó lập chỉ mục. Để làm điều này, chỉ cần thực hiện một vài thay đổi đơn giản trong mã tài nguyên là đủ.
Nó là cần thiết
- - có ít nhất kiến thức cơ bản về HTML
- - biết cách mở thư mục gốc của thư mục tệp trang web của bạn
Hướng dẫn
Bước 1
Trước tiên, hãy kiểm tra xem trang web của bạn có tệp robots.txt chịu trách nhiệm lập chỉ mục tài nguyên chính xác hay không. Để thực hiện việc này, hãy truy cập http: ⁄ ⁄ www site ru ⁄ robots.txt ⁄, thay thế http: ⁄ ⁄ www site ru bằng địa chỉ trang web của bạn.
Bước 2
Nếu, khi bạn nhấp vào liên kết này, một bản ghi có dạng "Tác nhân người dùng: * Không cho phép …" mở ra, thì điều này có nghĩa là tệp bắt buộc hiện có trên trang web của bạn. Trong trường hợp này, hãy chuyển đến thư mục gốc nơi lưu trữ tất cả các tệp trang web của bạn và tìm tệp robots.txt.
Bước 3
Nếu hệ thống quản lý trang web của bạn cho phép bạn chỉnh sửa tệp này trực tiếp từ thư mục gốc, thì hãy mở robots.txt thông qua một dịch vụ phụ trợ. Nếu không thể thực hiện bất kỳ thay đổi nào đối với tệp thông qua giao diện hệ thống, hãy lưu tài liệu vào máy tính của bạn, sau đó mở nó thông qua chương trình Notepad.
Bước 4
Thay đổi hai dòng đầu tiên của tài liệu thành như sau:
Đại lý người dùng: *
Không cho phép: /.
Dòng chữ "Tác nhân người dùng: *" chỉ ra rằng các quy tắc sau áp dụng cho tất cả rô bốt tìm kiếm và "Không cho phép: /" có nghĩa là toàn bộ trang web không được lập chỉ mục. Sau khi sửa nội dung, hãy lưu tệp.
Bước 5
Nếu trang web của bạn không có tệp robots.txt, hãy tạo một tài liệu mới trong Notepad. Nhập hai mục giống nhau vào đó, đặt mỗi mục trên một dòng mới và lưu tệp bằng lệnh "File-Save As …" dưới tên robots.txt.
Bước 6
Tải tài liệu đã tạo lên thư mục gốc của trang web của bạn và kiểm tra lại hoạt động của nó bằng cách theo liên kết http: ⁄ ⁄ www · site · ru ⁄ robots.txt ⁄, trong đó thay vì "http: ⁄ ⁄ www · site · ru", hãy nhập địa chỉ tài nguyên của bạn.
Bước 7
Một cách khác để cấm lập chỉ mục là chèn các thẻ meta đặc biệt vào mã HTML của các trang web. Để sử dụng phương pháp này, hãy tìm trong mã của một trong các trang của trang web dòng chữ " và đặt nó ngay sau dòng " ".
Bước 8
Nếu trang web của bạn được viết bằng HTML, thì mã này phải được chèn trên mọi trang. Đối với tài nguyên PHP, chỉ cần đặt một mục như vậy trong tệp header.php là đủ.
