Mi az a feltérképezési keret és miért kell optimalizálni?

Így optimalizáld feltérképezési keretedet

Mi az a feltérképezési keret?

A feltérképezési keret azt jelent, hogy hány oldalt térképez fel a Google webhelyeden egyetlen látogatása során. Ez a mennyiség többnyire fix, és általában csak minimális eltérések lehetnek két látogatás között.

Meglehet például, hogy a Google minden nap 10 oldalt térképez csak fel webhelyeden, de az is előfordulhat, hogy 200-at vagy 2000-et.

A feltérképezési keretet webhelyed mérete, egészsége (hogy hány hibát talál nálad a Google), és a webhelyedre mutató hivatkozások száma határozza meg. Ezen tényezőkből néhányat te is befolyásolhatsz, és ezekre lejjebb bővebben is kitérünk majd.

Hogy működnek a feltérképező robotok?

Az olyan feltérképező robotok, mint a Googlebot egy URL listát kapnak egy webhely oldalairól, amiket elkezdenek megvizsgálni. A tisztességes feltérképező robotok a robots.txt fájl tartalmát is rendszeresen ellenőrzik webhelyeken, hogy elkerüljék a webmester által tiltólistára helyezett URL-eket.

Miután egy robot végzett egy oldal feltérképezésével, feljegyzi a listájára azokat az URL-eket is, amiket az oldalon talált, majd folytatja a dolgát.

Többféle esemény is befolyásolhatja, hogy a Google érdemesnek tart-e egy URL-t a feltérképezésre. Például új linkeket talált egy már létező tartalomra, vagy valaki megosztotta a tartalmat a Twitteren (X), esetleg az URL bekerült a legfrissebb XML webhelytérképbe. Lehetetlen felsorolni az összes okot, amik feltérképezésre késztethetik a Google-t, de ha úgy véli, hogy szükséges, akkor az adott URL felkerül a feladatlistára.

A feltérképezési keret határozza meg azt, hogy mindezt hány oldalon csinálja végig egy látogatása során a Google.

Mikor jelenthet problémát a feltérképezési keret

A feltérképezési keret nem probléma, ha a Google elegendő URL feltérképezésére hajlandó webhelyeden. De ha webhelyed 100 ezer nyilvános oldalból áll, és a Google csak 2000-et térképez fel ezek közül naponta, akkor nagyon sokáig tart majd, hogy mindent lásson. Itt akár hónapokról is beszélhetünk. Egyes oldalakra (pl. a főoldalra) több figyelmet fordít, és ezekre gyakrabban is tér vissza.

Ezzel szemben, ha 20 ezer oldalnyi feltérképezési keretet kapsz, akkor ez a folyamat néhány nap alatt lezajlik majd.

Fontos észben tartani, hogy a feltérképezés nem csak az új URL-ek felfedezését jelenti, hanem a már indexelt, megváltozott tartalmak frissítését is az indexben. Tehát ha az oldalak egyszer be is kerülnek az indexbe, jó lenne, ha az indexelt verzió a későbbi módosításaikat is minél előbb tükrözné.

Az alábbi lépésekkel ellenőrizheted, hogy problémák vannak-e webhelyeden a feltérképezési kerettel. Ez a módszer azt feltételezi, hogy webhelyeden viszonylag kevés olyan URL szerepel, amelyeket a Google feltérképez de nem indexel (például a szándékosan beállított noindex miatt):

1. Derítsd ki, hogy hány URL-ből áll webhelyed (XML webhelytérképed vagy valamilyen külső eszköz segítségével).
2. Nyisd meg a Google Search Console-t.
3. Navigálj a Beállítások > Feltérképezési statisztikák jelentésre, majd számold ki a napi szinten átlagosan feltérképezett oldalak számát. Ehhez oszd el a korábban megállapított URL-ek számát az átlagosan feltérképezett oldalak számával (amit a grafikonból állapíthatsz meg).
4. Ha a végeredmény nagyobb, mint 10 (azaz 10-szer több oldalad van, mint amennyit a Google napi szinten feltérképez), akkor feltérképezési kereted optimalizálásra szorul. Ha 3-nál alacsonyabb az érték, akkor minden rendben.

Milyen URL-eket térképez fel a Google?

Ez egy olyan kérdés, amivel mindig érdemes tisztában lenned saját webhelyeden. A választ a szerver naplófájljában találod majd. Ezen fájl elemzésére különféle online eszközöket használhatsz (pl. Screaming Frog).

Elemezd a naplófájlt

Webtárhelyed jellegétől függően nem biztos, hogy hozzáférsz majd ezekhez a naplókhoz. Ha a tárhelyszolgáltató nem hajlandó elérhetővé tenni ezeket számodra, akkor ideje új szolgáltatót keresni.

Egy webhely feltérképezési keretének kijavítása sokban hasonlít egy autó megjavításához. Hiába nézegeted kívülről – bele kell nyúlni, hogy történjen is valami. A naplófájl vizsgálata először ijesztő feladatnak tűnhet, ugyanis tele lesz számodra haszontalan bejegyzésekkel. Lesznek benne viszont olyan 404-es hibák is, amikre látszólag nincs magyarázat, de bizony foglalkoznod kell velük. A cél az, hogy csökkentsd és lehetőleg szüntesd meg a 404-es hibák számát webhelyeden.

A feltérképezési keret bővítése

Íme néhány módszer, amivel nagyobb feltérképezési keretre tehetsz szert webhelyeden.

Iktasd ki a hibákat

Mindenekelőtt meg kell győződj arról, hogy a feltérképezésre szánt webhelyek 200-as („OK”) vagy 301-es („véglegesen átirányítva”) válaszkódot adnak-e vissza. Minden más valamilyen problémát jelent (leszámítva talán a 302-es „átmenetileg átirányítva” kódokat). A válaszkódokat szervered naplófájljában ellenőrizheted. A Google Analytics és más hasonló eszközök csak a 200-as kóddal visszatérő lekérdezéseket veszik figyelembe, ezért ezek nem alkalmasak a hibák azonosítására.

A naplófájl megszerzése után találd meg és javítsd ki a gyakoribb problémákat. Egy jó módszer fogni az összes nem 200-as és nem 301-es kóddal visszatérő kérést, és gyakoriságuk alapján rendezni őket. Meglehet, hogy egyes hibák javításához webhelyed forráskódjába is bele kell nyúlnod, vagy máshová kell átirányítanod URL-jeidet. De mindez sokkal egyszerűbb lesz, ha látod, hogy mi okozta a problémát.

A Google Search Console szintén segíthet a hibák azonosításában, ha nem férsz hozzá a szervernaplókhoz.

Tiltsd le webhelyed bizonyos részeinek feltérképezését

Ha webhelyed egyes oldalai vagy alkönyvtárai nem kell, hogy megjelenjenek a Google találatai között, akkor a robots.txt fájl segítségével megtilthatod a feltérképezésüket. Persze ilyenkor rettentő óvatosnak kell lenned, hiszen egyetlen félreírt karakter is tönkreteheti webhelyed seo-ját.

Ha webhelyed URL-eiben szűrőket használsz (pl. a termékek kereséséhez), akkor ezek az URL-ek mind új, önálló oldalakként szerepelnek majd a Google adatbázisában, és hamar felélhetik feltérképezésikeretedet. Ügyelj rá tehát, hogy ezen URL-ek, csupán néhány verzióját térképezhesse fel a Google.

Iktasd ki az átirányítási láncokat

Amikor 301-es átirányítást állítasz be egy URL-re, és a Google felfedezi ezt, akkor hozzáadja az új címet a feladatlistájához, de nem biztos, hogy azonnal feltérképezi azt. Na most, ha A oldalról B oldalra irányítasz át, onnan pedig C-re, akkor jóval több időbe telik majd, hogy a Google eljusson az utolsó oldalhoz a láncban és feltérképezze azt. Tehát rögtön A -> C legyen az átirányítás, nincs értelme a köztes lépésnek.