Oppgaven med å fjerne enkelte sider eller hele nettstedet fra søkemotorer står overfor en webansvarlig når han endrer informasjon, endrer et domene, kombinerer flere ressurser og en rekke andre grunner. Det er flere måter å løse problemet på, avhengig av ønsket resultat.
Bruksanvisning
Trinn 1
Slett siden som skal avindekseres, slik at serveren returnerer en feilmelding når den prøver å navigere til den valgte websiden HTTP / 1.1 404 Ikke funnet. For å bruke de valgte endringene, må du vente til roboten får tilgang til den nødvendige siden på nytt.
Steg 2
Bruk robotens rotfil robots.txt for å ekskludere utvalgte seksjoner eller sider fra indeksering av søkemotoren. For å forhindre visning av adminpanelet i søkemotoren, bruk kommandoen: User-Agent: * Diaallow: / admin / Eller, for å ekskludere den valgte siden fra indeksering, skriv inn verdien: User-Agent: * Disallow: / selected_page.html # For å bruke endringene, må roboten besøke den valgte siden igjen.
Trinn 3
Bruk metamerkingsmetoden for å legge til en regel spesifisert i HTML-kode til alle nødvendige sider: Dette er nødvendig for å ekskludere uønskede sider fra søkemotoren.
Trinn 4
Velg en metode for å lage X-Robots-Tag for å introdusere kommandoer i http-headeren som ikke vises i sidekoden: X-Robots-Tag: noindex, nofollow Denne metoden er mest nyttig for å ekskludere valgte sider eller seksjoner fra indeksering av utenlandske søkemotorer.
Trinn 5
Bruk en spesiell webmaster-kontrollside i Yandex: https://webmaster.yandex.ru/deluri.xml eller i Google: https://www.google.com/webmasters/tools. Dette gjøres for å forby visning av ønsket side, seksjon eller hele nettstedet i den valgte søkemotoren.
