Søkemotorroboten er ansvarlig for gjennomgang av nettsider. Programmet leser automatisk data fra alle nettsteder og registrerer dem i et skjema som er forståelig for selve søkemotoren, slik at systemet senere vil vise de mest passende resultatene for brukeren.
Funksjoner
All indeksert informasjon blir registrert i en felles database.
En søkerobot er et program som automatisk reiser gjennom sidene på Internett, ber om de nødvendige dokumentene og mottar strukturen på gjennomsøkte nettsteder. Roboten velger uavhengig sidene som skal skannes. I de fleste tilfeller er nettsteder som skal skannes, tilfeldig valgt.
Bot-typer
En feil fungerende robot øker belastningen på nettverket og serveren betydelig, noe som kan føre til at ressursen ikke er tilgjengelig.
Hver søkemotor har flere programmer som kalles roboter. Hver av dem kan utføre en bestemt funksjon. For eksempel på Yandex er noen roboter ansvarlige for å skanne RSS-nyhetsfeeder, noe som vil være nyttig for indeksering av blogger. Det er også programmer som bare søker etter bilder. Det viktigste er imidlertid indekseringsboten, som danner grunnlaget for ethvert søk. Det er også en ekstra rask robot designet for å søke etter oppdateringer om nyhetsfeeder og hendelser.
Skanningsprosedyre
En annen måte å forhindre gjennomsøking av innhold er å opprette tilgang til nettstedet gjennom registreringspanelet.
Når du besøker nettstedet, skanner programmet filsystemet for tilstedeværelse av robots.txt instruksjonsfiler. Hvis det er et dokument, begynner lesingen av direktivene som er skrevet i dokumentet. Robots.txt kan forby eller omvendt tillate skanning av visse sider og filer på nettstedet.
Skanneprosessen avhenger av programtypen. Noen ganger leser roboter bare sidetitlene og noen få avsnitt. I noen tilfeller utføres skanning i hele dokumentet, avhengig av HTML-markeringen, som også kan fungere som et middel for å spesifisere nøkkelfraser. Noen programmer spesialiserer seg på skjulte eller metakoder.
Legger til i listen
Hver webansvarlig kan forhindre at søkemotoren gjennomsøker sider gjennom robots.txt eller META-taggen. Nettstedsskaperen kan også legge til nettstedet manuelt i indekseringskøen, men å legge til det betyr ikke at roboten umiddelbart vil gjennomsøke den ønskede siden. For å legge til et nettsted i køen, har søkemotorer også spesielle grensesnitt. Å legge til et nettsted fremskynder indekseringsprosessen betydelig. Også, for rask registrering i en søkemotor, kan webanalysesystemer, nettstedskataloger, etc. brukes.
