Hogyan blokkolhatjuk a keresőmotorokat (illusztrációkkal)

A keresőmotorok robotokkal (webes pókok vagy botok) vannak felszerelve, amelyek beolvashatják és indexelik a weboldalakat. Ha a webhelye vagy az oldal fejlesztés alatt áll, vagy nem kívánt tartalmat tartalmaz, a robotok tilosak a webhely beolvasására és indexelésére. Ismerje meg, hogyan blokkolja a teljes webhelyeket, oldalakat és linkeket a robotok fájl segítségével.Txt vagy bizonyos oldalak és linkek HTML-címkékkel . Olvassa el, hogy megtudja, hogyan lehet megtiltani a tartalomhoz való hozzáférést bizonyos botoknak.

Lépések

1. módszer: 2:

A keresőmotorok lezárása a robotfájl használatával.Txt

egy. Nézze meg a robotfájlokat.Txt. Robotfájl.A TXT egy egyszerű szövegfájl vagy ASCII fájl, amely megmutatja a keresőmotorok webes pókjait, amelyekhez a webhely részeihez férhetnek hozzá. A robotok fájlban felsorolt fájlok és mappák.TXT, nem szkennelhető és indexelhető keresési robotokkal. Használja a robotfájlokat.Txt ha:

Szeretne elrejteni bizonyos tartalmakat a keresőmotorokból;
Ön a webhely fejlesztésének folyamatában van, és nem áll készen a webhely szkennelésére és indexelésére a keresőmotorok pókjával;
A hiteles botokhoz való hozzáférést korlátozni szeretné.

2. A robotok fájl létrehozása és mentése.Txt. Fájl létrehozásához nyissa meg a szokásos szövegszerkesztőt vagy kódszerkesztőt. Mentse el a fájlt robotként.Txt. A fájlnevet kisbetűkkel kell írni.

Ne felejtsd el, hogy a végén "s" -et adjunk hozzá.

A fájl mentésekor válassza ki a mellékletet.Txt ". Ha szót használ, válassza ki a "rendes szöveg" opciót.

3. Robotfájl létrehozása.Txt feltétel nélküli tiltásról szóló irányelvvel. A feltétel nélküli tiltásról szóló irányelv lehetővé teszi, hogy blokkolja az összes nagyobb keresőmotor keresési robotjait, ezáltal elkerülve a webhely beolvasását és indexelését. Adja hozzá a következő sorokat a szövegfájlhoz:

Felhasználói ügynök: * Tiltsa le: /

Használjon feltétel nélküli tiltásról szóló irányelvet a robotok fájlban.Txt erős nem ajánlott. Ha a bot, például a Bingbot, úgy véli, hogy ez a fájl, akkor nem indexeli a webhelyét, és a keresőmotor nem jeleníti meg.

Felhasználói ügynökök (Felhasználói ügynökök) - Ez a webes pókok egy másik neve, vagy robotok keresése.

*: A csillag azt jelenti, hogy a kód minden felhasználói ügynökre vonatkozik.

Tiltsa le: /: Az ördög nem jelzi, hogy az egész webhely botok számára zárva van.

4. Robotfájl létrehozása.Txt az alow feltételes irányelvvel. Ahelyett, hogy blokkolná az összes botot, fontolja meg a konkrét pókok hozzáférését a webhely egyes részeihez. A Engedélyezési feltételek fő parancsai a következők:

Beton bot blokkolása: Cserélje ki az Asteriskt Felhasználói ügynök a A Googlebot, A Googlebot-News, Googlebot kép, Bingbot vagy Teoma.

Katalógus vagy annak tartalmának blokkolása:

Felhasználói ügynök: * Tiltsa le: / minta-könyvtárat /

A weboldal blokkolása:

Felhasználói ügynök: * Tiltsa le: / privát_file.Html

Képblokkolás:

Felhasználói ügynök: A Googlebot-imagedisislowallow: / Images_MyPicture.jpg

Összes kép blokkolása:

Felhasználói ügynök: A Googlebot-imagedisislehallow: /

Külön fájlformátum blokkolása:

Felhasználói ügynök: * Tiltsa le: / p *.jpg $

öt. Kielégíti a botokat a webhely indexeléséhez és beolvasásához. Sok ember nemcsak nem blokkolja, hanem éppen ellenkezőleg, üdvözöljük a keresőmotor pókok figyelmét, hogy teljesen indexelt legyen. Ennek elérése háromféleképpen lehet. Először is megtagadhatja a robotok fájl létrehozását.Txt. Ha a robot nem találja a robotfájlokat.TXT, továbbra is beolvassa és indexeli az egész webhelyet. Másodszor, létrehozhat egy üres robotfájlt.Txt. A robot megtalálja a robotfájlokat.Txt látni fogja, hogy üres, és továbbra is beolvassa és indexeli az oldalt. Végül létrehozhat egy robotfájlt.Txt feltétel nélküli megoldási irányelvvel a kód használatával:

Felhasználói ügynök: * Tiltsa le:

Amikor a bot, például a Googlebot, úgy véli, hogy ez a fájl, szabadon meglátogathatja az egész webhelyét.

Felhasználói ügynökök (Felhasználói ügynökök) - Ez a webes pókok egy másik neve, vagy robotok keresése.

*: A csillag azt jelenti, hogy a kód minden felhasználói ügynökre vonatkozik.

Tiltsa le: Az üres letiltás parancs azt jelenti, hogy minden fájl és mappa elérhető.

6. Mentse a szövegfájlt a tartomány gyökérkönyvtárába. A robotfájl szerkesztése után.Txt mentse a változtatásokat. Helyezze be a fájlt a webhely gyökérkönyvtárába. Például, ha van egy domainje YOUTOMIN.Com, Helyezze a robotfájlokat.Txt a címen YOUTOMIN.COM / robotok.Txt.

2. módszer 2:

A keresési motorok zárolása

egy. Nézze meg a HTML metat-robotokat. A Metater Robots lehetővé teszi a programozók számára, hogy paramétereket állítanak be a botokhoz vagy a keresőpókhoz. Ezen címkék segítségével a botok tilos indexelni és beolvasni az egész webhelyet vagy a külön részeket. Használhatja őket is, hogy blokkoljanak egy adott keresőmotor pókot a tartalom indexelésből. Ezek a címkék a HTML fájl fejlécében vannak megadva.

Ezt a módszert általában olyan programozók használják, akik nem férnek hozzá a webhely gyökérkönyvtárához.

2. Letiltja a hozzáférést a botokhoz egy oldalra. Oldal indexelés és / vagy naplózás az oldalon az oldalon megtilthatja az összes botot. Ezt a címkét általában akkor használják, ha a webhely fejlesztés alatt áll. A webhely befejezése után erősen ajánlott törölni ezt a címkét. Ha nem távolítja el a címkét, az oldal nem lesz indexelve vagy elérhető a keresőmotorok kereséséhez.

Tiltsa le a botokat az oldal indexeléséhez és a linkek bármelyikére:

 Név = "Robotok" tartalom = "NoIndex, Nofollow">

Tiltsa le az összes botot az oldal indexeléséhez:

 NAME = "ROBOT" TARTALOM = "NOInDEX">

Tiltja meg az összes botot, hogy menjen az oldalon található linkeken:

 Név = "Robotok" tartalom = "Nofollow">

3. Hagyja, hogy a botok indexeljenek az oldalt, de ne menjünk a linkjeire. Ha engedélyezi a botokat az oldal indexeléséhez, akkor indexelve lesz. Ha a pókok a linkek bekapcsolására törekszenek, akkor az a mód, ahogy az oldalról az oldalról másoknak blokkolódnak. Helyezze be a következő kódot a címben:

 Név = "Robotok" tartalom = "Index, Nofollow">

4. Hagyja, hogy a keresőmotor pókok a linkek fölé, de ne indexelje az oldalt. Ha lehetővé teszi, hogy a botok mozogjanak a linkeken, akkor az oldalról az oldalról mások felé kapcsolódnak. Ha letiltja a botokat az oldal indexeléséhez, akkor nem jelenik meg az indexben. Helyezze be a következő kódot a címben:

 NAME = "ROBOT" TARTALOM = "NOInDEX, Kövesse">

öt. Blokk kimenő link. Ha elrejti az egyik linket az oldalon, helyezze a címkét Rel A címke hivatkozásán belül . Használja ezt a címkét, hogy blokkolja a linkeket más oldalakon, amelyek egy adott oldalhoz vezetnek.

 href ="YOUTOMIN.Html" Rel ="Nincs követés"> Helyezze be a linket a zárolt oldalra

6. Blokkolja az adott keresési pókot. Ahelyett, hogy blokkolja az összes bot oldalhoz való hozzáférést, állítsa be a beolvasás tilalmát és indexelje az oldalt csak egy botra. Ehhez cserélje ki a "robotok" szót egy adott bot metatheg nevében. Példák: A Googlebot, A Googlebot-News, Googlebot kép, Bingbot és Teoma.

 NAME = "Bingbot" tartalom = "NoIndex, Nofollow">

7. A botok javítása az oldal beolvasásához és indexeléséhez. Ha azt szeretnénk, hogy megbizonyosodjon arról, hogy az oldal indexelve lesz, és a linkek bekapcsolódnak, adjunk hozzá a "Robotok" Felbontás Meta Tag "Robots" című részét. Használja a következő kódot:

 Név = "Robotok" tartalom = "Index, Kövesse">