Đôi khi quản trị viên web cần xóa một trong các trang được lập chỉ mục khỏi công cụ tìm kiếm. Thông thường, thao tác này được sử dụng sau khi nhập nhầm địa chỉ trang vào danh sách chung của sơ đồ trang web. Tại một thời điểm, các chuyên gia từ công ty Megafon đã gặp phải lỗi này (tin nhắn sms có sẵn cho bất kỳ người dùng nào của công cụ tìm kiếm Yandex).
Nó là cần thiết
Trang cá nhân
Hướng dẫn
Bước 1
Một trong những cách dễ nhất để xóa trang web của bạn khỏi kho lưu trữ của các công cụ tìm kiếm là xóa nó về mặt vật lý, thay đổi địa chỉ vị trí và xóa nhầm (bạn cần đặt thuộc tính của trang đã xóa). Sau khi chuyển đổi trang này, rô bốt tìm kiếm sẽ thấy dòng sau thay vì nội dung: HTTP / 1.1 404 Không tìm thấy. Tuy nhiên, đừng quên rằng rô bốt tìm kiếm có thể truy cập trang web 3 giờ một lần và có thể 2-3 ngày một lần. Do đó, bạn cần đợi một thời gian để có kết quả.
Bước 2
Cách tiếp theo là chỉnh sửa tệp robots.txt, tệp này xác định đường dẫn của trình thu thập thông tin ngay khi nó đến trang web của bạn. Tài liệu văn bản này luôn có một vị trí - thư mục gốc của trang web. Trong đoạn đầu tiên, các thông số lập chỉ mục cho robot Yandex thường được chỉ định (nó khác biệt rõ rệt với các robot khác), trong đoạn thứ hai cho tất cả các công cụ tìm kiếm khác.
Bước 3
Ở đầu đoạn, bạn phải chỉ định tiêu đề của tác nhân "User-Agent: *" và địa chỉ của các trang được ẩn - "Disallow: /wp-content/foto/fotojaba.html". Theo cách tương tự, bạn phải chỉ định địa chỉ của các trang hoặc phần mà bạn muốn đóng khỏi lập chỉ mục. Xin lưu ý rằng phương pháp này không cung cấp kết quả nhanh chóng. Nếu trang web của bạn có hoạt động thấp và tin tức không được phát trên mạng xã hội, quá trình xử lý dữ liệu mới có thể kéo dài vài ngày. Ngoài ra, bạn sẽ cần xóa phiên bản của các trang này khỏi kho lưu trữ của dịch vụ tìm kiếm.
Bước 4
Một phương pháp thay thế để đặt liên kết trong tệp robots.txt là sử dụng thẻ meta rô bốt có cùng tên. Cú pháp của thẻ này như sau: nó phải được đặt giữa thẻ [head] và [/head] được ghép nối. Giá trị rô bốt phải được đặt trong thẻ tên meta. Một ví dụ sẽ như thế này:
