Indeksering er prosessen med å skanne filer lokalisert på en Internett-ressurs av en søkerobot. Denne prosedyren utføres slik at nettstedet er tilgjengelig i søkeresultatene for forskjellige spørsmål i søkemotoren. Blant de største søkemotorene i dag er Yandex, som utfører denne skanningen på sin egen måte.
Bruksanvisning
Trinn 1
Indekseringen av nettstedet utføres av spesielle automatiske programmer - søkeroboter, som automatisk sporer utseendet til nye nettsteder på Internett, og skanner kontinuerlig Internett-sider på Internett, filer og lenker til dem på hver ressurs.
Steg 2
For å skanne, går roboten til katalogen der ressursen ligger på en bestemt server. Når du velger et nytt nettsted, styres roboten av tilgjengeligheten. For eksempel er det en oppfatning at Yandex først skanner nettsteder opprettet på et russiskspråklig domene og på russisk - ru, rf, su eller ua, og først deretter flytter til andre regioner.
Trinn 3
Roboten navigerer til nettstedet og skanner strukturen, og leter først etter filer som indikerer videre søk. For eksempel blir et nettsted skannet for Sitemap.xml eller robots.txt. Disse filene kan brukes til å angi oppførselen til søkeroboten når du skanner. Ved hjelp av områdekartet (sitemap.xml) får roboten en mer nøyaktig ide om strukturen til ressursen. Nettredaktøren bruker robots.txt for å definere filer som han ikke ønsker å vises i søkeresultatene. Det kan for eksempel være personlig informasjon eller andre uønskede data.
Trinn 4
Etter å ha skannet disse to dokumentene og mottatt de nødvendige instruksjonene, begynner roboten å analysere HTML-koden og behandle de mottatte kodene. I fravær av en robots.txt-fil begynner søkemotoren å behandle alle dokumenter som er lagret på serveren.
Trinn 5
Ved å klikke på lenker i dokumenter, mottar roboten også informasjon om andre nettsteder som står i kø for skanning etter denne ressursen. De skannede filene på nettstedet lagres som en tekstkopi og struktur på servere i Yandex datasentre.
Trinn 6
Behovet for ny skanning bestemmes også automatisk av roboter. Programmet sammenligner det eksisterende skanneresultatet med den oppdaterte versjonen av nettstedet når det går gjennom indekseringen igjen. Hvis dataene som mottas av programmet er forskjellige, oppdateres nettstedskopien også på Yandex-serveren.
