Kako izbrisati spletno mesto ali njegove fragmente iz Googlovega indeksa

V skladu s konceptom indeksiranja, ki ga je sprejel Google, se upošteva popolnost, objektivnost informacij in skladnost z iskalno poizvedbo pri dobavi rezultatov. Če spletno mesto z nezakonito vsebino vstopi v indeks ali če je vir namenjen za vsiljeno pošto, strani takega spletnega mesta ne bodo označene v splošni bazi podatkov iskalnika. Za nas je pomembno, da se učimo, kako izbrisati spletno mesto od izdaje strežnika na podlagi rezultatov iskanja.

Možnosti ničelnega indeksiranja za Google

Takoj, ko pajka - program za zbiranje informacij o novih virih - skenira stran spletnega mesta za stran, potem bo, če ustreza zahtevam Googlove politike glede razčlenjevanja, indeksirana. Opisali pa bomo tudi, kako izbrisati spletno mesto ali posamezne fragmente za iskalnike, ki uporabljajo robots.txt - kazalec in hkrati terminator za iskanje.

Če želite izključiti celoten vir iz te težave, se v izvorni mapi strežnika, na katerem se nahaja spletno mesto, ustvarijo določeno besedilno območje - omenjeno zgoraj robots.txt. To območje obdelujejo iskalniki in deluje v skladu z branjem.

Upoštevajte, da bo Googlov iskalnik indeksiral stran, tudi če uporabniku ni dovoljeno gledati. Ko brskalnik izda odgovor 401 ali 403, "dostop ni veljaven", to velja samo za obiskovalce, ne za graditelje za to iskalnik.

Da bi razumeli, kako odstraniti strani iz indeksa iskanja, mora v kazalniku besedila vsebovati naslednje vrstice:

Uporabniški agent: Googlebot

Disallow: /

To pomeni iskalnemu robotu, da je prepovedano indeksirati celotno vsebino spletnega mesta. Tukaj kako izbrisati spletno mesto Google, tako da ta ne cacheira vira na seznamu.

Optično branje za različne protokole

Če želite navesti posamezne komunikacijske standarde, za katere želite uporabiti posebna pravila za indeksiranje Googla, na primer, ločeno za hipertekst http / https, To je treba nastaviti tudi v robots.txt na naslednji način (primer).

(https://yourserver.com/robots.txt) - domensko ime vaše spletne strani (vse)

Uporabniški agent: * - za kateri koli iskalnik

Dovoli: / - omogoči popolno indeksiranje

Kako popolnoma odstraniti stran od izdaje za protokol https

(https://yourserver.com/robots.txt):

Uporabniški agent: *

Prepoved: / popolna prepoved indeksiranja

Nujna odstranitev URL-ja vira iz Googlovega iskanja Google

Če ne želite čakati na ponovno indeksiranje in spletno mesto je treba čim prej skriti, priporočam uporabo storitve https://services.google.com/urlconsole/controller. Pre-robots.txt je že treba namestiti v korenski imenik strežnika spletnega mesta. Navodila naj bodo napisana v njej.

Če kazalec zaradi razlogov ni na voljo za urejanje v korenskem imeniku, je dovolj, da ga ustvarite v mapi s predmeti, za katere želite skriti iz iskalnikov. Takoj, ko to storite in se obrnete na službo za samodejno odstranjevanje naslovov, Google ne bo skeniral map, ki so zapisane v robots.txt.

Obdobje takšne nevidnosti se določi za 3 mesece. Po tem obdobju bo imenik, odstranjen iz izdaje, znova obdelal Googlov strežnik.

DaKako delno izbrisati spletno mesto za skeniranje

Ko iskalni boti prebere vsebino robots.txt, potem na podlagi njegove vsebine sprejmejo določene odločitve. Na primer, iz prikaza morate izključiti celoten imenik z imenom anatom. Za to je dovolj napisati takšna navodila:

Uporabniški agent: Googlebot

Disallow: / anatom

Ali pa na primer ne želite indeksirati vseh fotografij, kot je .jpg. Če želite to narediti, dodajte naslednji seznam:

Uporabniški agent: Googlebot

Disallow: /*.jpg$

Tu je še en primer. Izbrišemo podatke o dinamično ustvarjenih straneh iz razčlenjevanja, nato pa v kazalniku dodajte naslednji vnos:

Uporabniški agent: Googlebot

Disallow: / *?

Torej, približno, in pravila za iskalnike so predpisane. Druga stvar je, da je za vse to bolj uporabno oznako META. In spletni skrbniki pogosto uporabljajo samo takšen standard, ki ureja delovanje iskalnikov. Toda o tem bomo govorili v naslednjih člankih.