Ako blokovať vyhľadávače (s ilustráciami)

Vyhľadávače sú vybavené robotmi (webovými pavúkmi alebo robotmi), ktoré skenovať a indexovať webové stránky. Ak vaše webové stránky alebo stránka je vo vývoji alebo obsahuje nechcený obsah, roboty môžu byť zakázané skenovať a indexovať vaše webové stránky. Naučte sa, ako blokovať celé stránky, stránky a odkazy pomocou súboru robotov.TXT alebo konkrétne stránky a odkazy pomocou HTML tagov . Čítajte ďalej, aby ste zistili, ako zakázať prístup k obsahu určitým robotom.

Kroky

Metóda 1 z 2:

Zamknúť vyhľadávače pomocou súboru robotov.TXT

jeden. Pozrite sa na súbor robotov.TXT. Súbor robotov.TXT je jednoduchý textový súbor alebo súbor ASCII, ktorý povie webovým pavúkom vyhľadávačov, na ktoré časti stránky môžu pristupovať. Súbory a priečinky uvedené v súbore robotov.TXT, nie je možné naskenovať a indexovať vyhľadávaním robotov. Použite súbor robotov.Txt, ak:

Chcete skryť určitý obsah z vyhľadávačov;
Ste v procese rozvoja stránky a nie sú pripravené na skenovanie a indexovanie stránky pomocou pavúkov vyhľadávačov;
Chcete obmedziť prístup k autoritatívnym robotom.

2. Vytvorte a uložte súbor robotov.TXT. Ak chcete vytvoriť súbor, otvorte obvyklý textový editor alebo editor kódov. Uložte súbor ako roboty.TXT. Názov súboru musí byť napísaný s malými písmenami.

Nezabudnite na konci pridať "s".

Pri ukladaní súboru vyberte rozšírenie ".TXT ". Ak používate slovo, vyberte možnosť "Bežný text".

3. Vytvorte súbor robotov.TXT s bezpodmienečným zakázaním. Bezpodmienečná zakázaná smernica vám umožní blokovať vyhľadávacie roboty všetkých hlavných vyhľadávačov, čím sa zabráni skenovanie a indexovať stránku. Pridajte do textového súboru nasledujúce riadky:

User-Agent: * Zakázať: /

Použite bezpodmienečnú smernicu v súbore robotov.Txt je silný, neodporúča sa. Keď bot, ako napríklad Bingbot, zvažuje tento súbor, nebude indexovať vaše stránky a vyhľadávač ho nezobrazuje.

Užívateľsky (Užívatelia) - toto je ďalší názov webových pavúkov alebo vyhľadávania robotov.

*: Asterisk znamená, že kód sa vzťahuje na všetkých užívateľov.

Zakázať: /: Diabol neznamená, že celé miesto je zatvorené pre roboty.

4. Vytvorte súbor robotov.TXT s ALOW Podmienené smernice. Namiesto blokovania všetkých robotov zvážte blokovanie prístupu špecifických pavúkov do určitých častí stránky. Medzi hlavné príkazy umožňujúce podmienky podmienených zahŕňajú ::

Blokovanie betónového bot: nahradiť hviezdičku vedľa Užívateľský agenta na GoogleBot, GoogleBot-News, GoogleBot-Image, bingbot alebo Teoma.

Blokovanie katalógu alebo jeho obsahu:

User-Agent: * DOPLOW: / Sample-Directory /

Blokovanie webovej stránky:

User-Agent: * DISPOW: / Private_file.Html

Blokovanie obrazu:

User-Agent: GoogleBot-Imagedisallow: / Images_Mypicture.jpg

Blokovať všetky obrázky:

User-Agent: GoogleBot-IMEDIVALLOW: /

Blokovanie samostatného formátu súboru:

Používateľský agenta: * DOPLOW: / P *.jpg $

päť. Uspokojiť roboty na indexovanie a skenovanie vašich stránok. Mnohí ľudia nielen neblokujú, ale naopak, vítajú pozornosť vyhľadávač pavúkov na svoje stránky, takže je úplne indexovaný. Na dosiahnutie tohto cieľa môže byť tri spôsoby. Po prvé, môžete odmietnuť vytvoriť súbor robotov.TXT. Ak robot nenájde súbor robotov.TXT, bude pokračovať v skenovaní a indexe celej vaše stránky. Po druhé, môžete vytvoriť súbor prázdnych robotov.TXT. Robot nájde súbor robotov.TXT uvidí, že je prázdny a bude pokračovať v skenovaní a indexovaní stránky. Nakoniec môžete vytvoriť súbor robotov.TXT s bezpodmienečnou smernicou o uznesení s použitím Kódexu:

Užívateľ-agenta: * Zakázať:

Keď topánok, ako napríklad GoogleBot, považuje tento súbor, môže voľne navštíviť celú webovú stránku na voľnej nohe.

Užívateľsky (Užívatelia) - toto je ďalší názov webových pavúkov alebo vyhľadávania robotov.

*: Asterisk znamená, že kód sa vzťahuje na všetkých užívateľov.

Zakázať: Prázdne zakázané príkaz znamená všetky súbory a priečinky sú k dispozícii.

6. Uložte textový súbor do koreňového adresára domény. Po úprave súboru robotov.TXT Uložte zmeny. Vložte súbor do koreňového adresára stránky. Napríklad, ak máte doménu Youdomain.Com, Umiestnite súbor robotov.TXT na adrese Youdomain.Com / roboti.TXT.

Metóda 2 z 2:

Zámok vyhľadávače METAGAW

jeden. Pozrite sa na HTML Metateg Robots. Metater Robots umožňujú programátorom nastaviť parametre pre roboty alebo pavúky vyhľadávačov. S pomocou týchto značiek sú roboty zakázané indexovať a skenujte celé miesto alebo samostatné časti. Môžete ich tiež použiť na zablokovanie špecifického vyhľadávača pavúk z indexovania obsahu. Tieto značky sú uvedené v hlavičke HTML súboru.

Táto metóda sa bežne používajú programátormi, ktorí nemajú prístup do koreňového adresára stránky.

2. Zakázať prístup do robotov na jednu stránku. Indexovanie stránky a / alebo protokolovanie stránky na stránke, môžete zakázať všetky roboty. Táto značka sa zvyčajne používa, keď je lokalita vo vývoji. Po dokončení stránky sa dôrazne odporúča odstrániť túto značku. Ak neodstránite značku, stránka nebude indexovaná alebo dostupná na vyhľadávanie prostredníctvom vyhľadávačov.

Zakážte roboty indexovať stránku a prejdite na ktorýkoľvek z odkazov:

 Názov = "Robots" Content = "noindex, nofollow">

Vypnite všetky roboty na index stránku:

 Názov = "Roboty" Content = "Noindex">

Zakázať všetky roboty prejsť na odkazy na stránke:

 Názov = "Roboty" Content = "nofollow">

3. Nechajte roboti indexovať stránku, ale nejdú do svojich odkazov. Ak povolíte roboty na index stránku, bude indexovaný. Ak zatiahnete pavúky zapnúť odkazy, spôsob, akým bude odkaz z tejto stránky do iných zablokovaných. Vložte nasledujúci kód kód v názve:

 Názov = "Roboty" Content = "index, nofollow">

4. Umožnite vyhľadávačom pavúkov cez odkazy, ale neinfirektujte stránku. Ak povolíte, aby sa roboty presunuli na odkazy, prepojenie cesty z tejto stránky do ostatných zostanú otvorené. Ak zakážete roboty na index stránku, nezobrazí sa v indexe. Vložte nasledujúci kód kód v názve:

 Názov = "Robots" Content = "Noindex, Sledujte">

päť. Blokovanie odchádzajúceho odkazu. Ak chcete skryť jeden odkaz na stránke, umiestnite štítok Rel Vnútri odkazu na štítok . Použite túto značku na blokovanie odkazov na iné stránky, ktoré vedú na konkrétnu stránku, ktorú chcete zablokovať.

 href ="Youdomain.Html" Rel ="Nofollow"> Vložte odkaz na uzamknutú stránku

6. Blokovať špecifické vyhľadávanie pavúka. Namiesto blokovania prístupu na stránku pre všetky roboty, nastavte zákaz skenovania a indexovania stránky len pre jeden topánok. Ak to chcete urobiť, nahradiť slovo "roboty" v metathegovom mene konkrétneho topánok. PRÍKLADY: GoogleBot, GoogleBot-News, GoogleBot-Image, bingbot a Teoma.

 Názov = "bingbot" obsah = "noindex, nofollow">

7. Zlepšiť roboty na skenovanie a indexovanie stránky. Ak sa chcete uistiť, že stránka bude indexovaná, a odkazy sa prepnú, pridajte do hlavičky META TAG "Roboty". Použite nasledujúci kód:

 Názov = "Roboty" Content = "Index, nasledovať">