Sidene på hvert nettsted gjennomsøkes regelmessig av søkeroboter, som behandler informasjonen på nettstedet slik at den er tilgjengelig på forespørsel fra brukere i søkemotorer. Besøk fra besøkende fra søkemotorer har en positiv effekt på trafikken på nettstedet og stimulerer utviklingen av ressursen. Men hvis det er sider på nettstedet der informasjonen ikke er ment for internettpublikummet (for eksempel brukernes personlige sider eller registreringssiden), er det ikke nødvendig med overgangen fra søkemotorer til slike sider, og det er bedre å forhindre at denne informasjonen indekseres.
Nødvendig
- - ha din egen nettside
- - å kjenne lenkene til sidene, hvis indeksering bør være forbudt.
- - ha minst grunnleggende kunnskap om HTML
Bruksanvisning
Trinn 1
For å forhindre at søkroboten indekserer visse sider på nettstedet, må du gjøre endringer i robots.txt-filen, hvis den allerede er på nettstedet ditt, eller opprette denne filen.
Steg 2
Hvis robots.txt-filen allerede er lastet opp til nettstedet og det er mulig å redigere denne filen direkte fra ressurskontrollpanelet, åpner du robots.txt gjennom webtjenesten for redigering.
Trinn 3
Hvis det ikke er noen måte å gjøre endringer i ønsket fil direkte fra kontrollpanelet, åpner du robots.txt i en nettleser ved å klikke på lenken til denne filen. Kopier alle dataene fra siden som åpnes, og lim dem inn på arket i Notisblokk.
Trinn 4
Hvis det ikke er noe robots.txt på nettstedet, åpner du "Notisblokk" -programmet, i det nye dokumentet som du trenger å oppgi den nødvendige koden for.
Trinn 5
Skriv den første obligatoriske linjen på et tomt ark med tekstdokument:
Bruker agent: *
Trinn 6
Gå deretter til neste linje ved å trykke Enter-tasten og skriv inn følgende kode:
Disallow: / index / page3 Disallow: indikerer ingen indeksering, og / index / page3 er en lenke til en side som ikke trenger å indekseres. I stedet for lenken / indeksen / side3 setter du inn en lenke til siden på nettstedet ditt som du vil blokkere for behandling av roboter.
Trinn 7
Vær oppmerksom på at selve domenenavnet mangler i begynnelsen av lenken; dets tilstedeværelse i oppføringen innebærer skråstrek. Ved gjennomsøking av et nettsted setter en søkerobot automatisk inn et domenenavn i slike lenker. Skriv derfor lenker til de nødvendige sidene på denne måten.
Trinn 8
Etter Disallow: du kan ikke bare plassere en lenke til en bestemt side, men også en lenke til en hvilken som helst seksjon eller katalog på nettstedet. På samme måte kan du forby indeksering av ønsket del av nettstedet.
Trinn 9
Hvis det er nødvendig å forby robotbehandling av flere forskjellige seksjoner av ressursen, skriv en lenke til hver seksjon eller side på en ny linje, i begynnelsen av, ikke glem å sette Disallow: -oppføringen.
Trinn 10
For å fullføre endring av robots.txt, klikk på "Lagre" -knappen mens du redigerer filen i kontrollpanelet, eller lagre et tekstdokument med oppføringer under navnet robots.txt og last opp denne filen til nettstedet.
