Jsou to právě vyhledávače, které nakonec přivedou vaše webové stránky do povědomí potenciálních zákazníků. Proto je lepší vědět, jak tyto vyhledávače vlastně fungují a jak prezentují informace zákazníkovi, který zahájí vyhledávání. V zásadě existují dva typy vyhledávačů. První je pomocí robotů zvaných crawlery neboli pavouci.
Vyhledávače používají pavouky k indexování webových stránek. Když odešlete stránky svého webu do vyhledávače vyplněním jejich požadované stránky pro odeslání, pavouk vyhledávače zaindexuje celý váš web. Pavouk“ je automatický program, který je spuštěn systémem vyhledávače. Pavouk navštíví webovou stránku, přečte obsah na aktuální stránce, meta tagy stránky a také sleduje odkazy, které stránka spojuje. Pavouk pak všechny tyto informace vrací zpět do centrálního úložiště, kde jsou data indexována. Navštíví každý odkaz, který máte na svých webových stránkách, a indexuje i tyto stránky.
Pavouk se bude na stránky pravidelně vracet a kontrolovat, zda se nezměnily nějaké informace. Četnost, s jakou se tak děje, určují moderátoři vyhledávače.
Pavouk je téměř jako kniha, v níž je obsažen obsah, vlastní obsah a odkazy a reference pro všechny webové stránky, které najde během vyhledávání, a může indexovat až milion stránek denně.
Příklad: Vyhledávač je schopen vyhledávat informace z různých zdrojů, např: Seznam, Bing a Google.
Když požádáte vyhledávač o vyhledání informací, ve skutečnosti prohledává index, který vytvořil, a neprohledává web. Různé vyhledávače vytvářejí různé pořadí, protože ne každý vyhledávač používá k prohledávání indexů stejný algoritmus.
Jednou z věcí, které algoritmus vyhledávače prohledává, je četnost a umístění klíčových slov na webové stránce, ale může také odhalit umělé vkládání klíčových slov nebo spamdexování. Dále algoritmy analyzují způsob, jakým stránky odkazují na jiné stránky na webu. Kontrolou toho, jak na sebe stránky odkazují, může vyhledávač jednak určit, o čem stránka je, jednak určit, zda jsou klíčová slova odkazovaných stránek podobná klíčovým slovům na původní stránce.