Cum de a elimina un site sau fragmente din indexul Google

Conform conceptului de indexare adoptat de Google, a reprezentat integralitatea, obiectivitatea informațiilor și conformitatea cu interogarea de căutare în eliberarea rezultatelor. În cazul în care indicele de site-ul scade cu conținut ilegal sau de resurse pentru spam, paginile acestui site nu vor fi marcate în comun cu motorul de căutare de baze de date. Pentru noi este important să învățăm cum să eliminați un site din emiterea rezultatelor serverului de căutare.

Variante de la zero indexare Google

Odată ce robotul de căutare - un program pentru a colecta informații despre noi resurse - va scana pagina site-ului de pagină, apoi, atunci când în conformitate cu cerințele politicii Google pentru parsare, acesta va fi indexat. Dar noi, de asemenea, vă arată cum să eliminați site-ul sau fragmente pentru motoarele de căutare printr-un robots.txt - indice de căutare și în același timp oprire.

Pentru a exclude de la emiterea resursei în ansamblu, în directorul rădăcină al serverului pe care se află site-ul, creează o anumită zonă de text - a spus robots.txt. Această zonă este tratată cu motoarele de căutare și să acționeze în conformitate cu instrucțiunile citite.

Rețineți că indicii motorul de căutare Google pagina, chiar dacă un utilizator are acces la vizualizarea interzise. În cazul în care browser - ul răspunde cu 401 sau 403 „Accesul este invalid“, se aplică doar vizitatorilor, mai degrabă decât programele care se adună pentru acest motor de căutare.

Pentru a înțelege cum să eliminați site - ul de indexare motor de căutare, un indicator de text trebuie să introduceți următoarele linii:

User-agent: Googlebot

Disallow: /

Acest lucru indică crawler pentru a indexa interzicerea tot conținutul de pe site-ul. Iată cum să eliminați un site Google, astfel încât acesta din urmă nu cache resursa în lista detectată.

Materializări de scanare pentru diferite protocoale

Dacă aveți nevoie pentru a lista de standarde de comunicații individuale, pentru care doriți să le aplice reguli speciale pentru indexare Google, de exemplu, separat pentru hypertext protocoalele http / https, de asemenea , este necesar să se înregistreze în robots.txt în modul următor (exemplu).

(Http://yourserver.com/robots.txt) - un nume de domeniu al site-ului dvs. (orice)

User-agent: * - orice motor de căutare

Allow: / - să permită indexare completă

Cum de a elimina un site din problema complet protocolul HTTPS

(Https://yourserver.com/robots.txt):

User-agent: *

Disallow: / interdicție totală de indexare

Adresele de resurse de eliminare accelerată URL- de la Google SERP

Dacă nu doriți să așteptați pentru re-indexare, iar site-ul pe care doriți să le ascundeți ca, recomand să utilizați http://services.google.com/urlconsole/controller serviciu mai curând posibil. robots.txt Pre trebuie să fie plasat în directorul rădăcină al serverului site-ului. Ar trebui să fie prescris instrucțiuni corespunzătoare.

În cazul în care indicatorul pentru un motiv oarecare nu pot fi editate în directorul rădăcină, creați suficient în folderul cu obiective pentru care doriți să le ascundeți de motoarele de căutare. Odată ce ați face acest lucru și se referă la serviciul de a scoate automat adresele hipertext, Google nu va scana directoare care precizate un defect în robots.txt.

Perioada acestei invizibilitate este stabilită pentru 3 luni. După această perioadă, directorul retras din cauză, va fi din nou procesate de către serverul Google.

H um pentru a elimina un site pentru a scana parțial

Atunci când un bot de căutare citește conținutul robots.txt, că anumite decizii sunt luate pe baza conținutului său. Să presupunem că doriți să excludeți de la afișarea întregului director numit Anatom. Este suficient să prescrie astfel de reglementări:

User-agent: Googlebot

Disallow: / Anatom

Sau, de exemplu, doriți să nu indexa toate tipurile de imagini .gif. Pentru a face acest lucru, adăugați lista de mai jos:

User-agent: Googlebot

Disallow: /*.gif$

Iată un alt exemplu. Să-i fie șters din parsare informații cu privire la paginile generate dinamic, adăugând în același timp cu tipul de intrare de index:

User-agent: Googlebot

Disallow: / *?

Cam asta e, și precizează regulile pentru motoarele de căutare. Un alt lucru este faptul că este mult mai convenabil de a utiliza doar această etichetă META. Și webmasteri folosesc adesea doar un astfel de standard, care reglementează funcționarea motoarelor de căutare. Dar vom discuta acest lucru în articole viitoare.