Crawler je robot (softwarový program), který „prochází“ internetem a sbírá do své velké databáze o obrovské kapacitě data, která nalezne na všech webech.
Crawleři si pamatují, kde už byli, aby tam nemuseli znovu. Čas od času se robot na stránky vrací, aby se podíval zda-li nejsou na stránce nějaké změny, které zapíše do své datazáze.
K čemu obecně slouži tito roboti – crawleři ?
Vyhledávače (google, seznam, yahoo…) tyto roboty používají z jednoho prostého důvodu, aby nabídli návštěníkům, který vyhledávají co nejkvalitnější a co nejpřesnější informace, které ve vyhledávači hledá.
Co všechno crawler zaznamenává ?
Jedná se hlavně o text na stránce, který rozděluje do:
- titulek stránky (title)
- klíčové slovo (keywords)
- popis stránky (description)
- nadpisy (h1)
- nadpisy nižší úrovně (h2, h3, h4 …)
- názvy obrázků (img – title)
- text na stránce (p)
- … a mnoho dalšího
Hodnota obsahu v jednotlivých prvcích na stránce je různá. Např. nadpis (h1) má vždy vyšší hodnotu než nadpis (h2) nebo rozsáhlý text má nižší hodnotu než titulek stránky (title).
Z mé vlastní zkušenosti vám mohu říci, že prvky, které mají největší hodnocení jsou titule stránky (title) + nadpis (h1) + klíčová slova (keywords). Zapisujte tedy do nich co nevýstižnější slova, která charakterizuji nejpřesněji obsah stránky.
