Lập chỉ mục là quá trình quét các tệp nằm trên tài nguyên Internet bởi rô bốt tìm kiếm. Quy trình này được thực hiện để trang web có sẵn trong kết quả tìm kiếm cho các truy vấn khác nhau trong công cụ tìm kiếm. Trong số các công cụ tìm kiếm lớn nhất hiện nay là Yandex, thực hiện việc quét này theo cách riêng của mình.
Hướng dẫn
Bước 1
Việc lập chỉ mục của trang Internet được thực hiện bởi các chương trình tự động đặc biệt - rô bốt tìm kiếm, tự động theo dõi sự xuất hiện của các trang mới trên World Wide Web, liên tục quét các trang Internet nằm trên Internet, các tệp và liên kết đến chúng trên mỗi tài nguyên.
Bước 2
Để quét, rô bốt đi đến thư mục chứa tài nguyên trên một máy chủ cụ thể. Khi chọn một trang web mới, robot sẽ được hướng dẫn bởi tính khả dụng của nó. Ví dụ: có ý kiến cho rằng trước tiên Yandex quét các trang web được tạo bằng miền tiếng Nga và bằng tiếng Nga - ru, rf, su hoặc ua, sau đó chỉ chuyển sang các khu vực khác.
Bước 3
Robot điều hướng đến trang web và quét cấu trúc của nó, trước tiên tìm kiếm các tệp cho biết tìm kiếm thêm. Ví dụ: một trang web được quét Sitemap.xml hoặc robots.txt. Các tệp này có thể được sử dụng để thiết lập hành vi của rô bốt tìm kiếm khi quét. Sử dụng sơ đồ trang web (sitemap.xml), rô bốt có được ý tưởng chính xác hơn về cấu trúc của tài nguyên. Quản trị viên web sử dụng robots.txt để xác định các tệp mà anh ta không muốn hiển thị trong kết quả tìm kiếm. Ví dụ, đó có thể là thông tin cá nhân hoặc dữ liệu không mong muốn khác.
Bước 4
Sau khi quét hai tài liệu này và nhận được các hướng dẫn cần thiết, rô bốt bắt đầu phân tích cú pháp mã HTML và xử lý các thẻ nhận được. Theo mặc định, trong trường hợp không có tệp robots.txt, công cụ tìm kiếm sẽ bắt đầu xử lý tất cả các tài liệu được lưu trữ trên máy chủ.
Bước 5
Bằng cách nhấp vào các liên kết trong tài liệu, rô bốt cũng nhận được thông tin về các trang web khác được xếp hàng để quét sau tài nguyên này. Các tệp được quét trên trang web được lưu dưới dạng bản sao văn bản và cấu trúc trên các máy chủ trong trung tâm dữ liệu Yandex.
Bước 6
Nhu cầu quét lại cũng được xác định tự động bởi robot. Chương trình so sánh kết quả quét hiện có với phiên bản cập nhật của trang web khi nó được lập chỉ mục lại. Nếu dữ liệu mà chương trình nhận được khác nhau, bản sao trang web cũng được cập nhật trên máy chủ Yandex.
