Obsah:
Definícia - Čo znamená Spider?
V kontexte internetu je pavúk špecializovaný softvér určený na systematické indexové prehľadávanie a prehľadávanie webu, zvyčajne za účelom indexovania webových stránok, aby ich poskytovali ako výsledky vyhľadávania pre vyhľadávacie dotazy používateľov. Najslávnejšie z týchto pavúkov je Googlebot, hlavný prehľadávač spoločnosti Google, ktorý pomáha zabezpečiť, aby sa relevantné výsledky vrátili pre vyhľadávacie dotazy.
Pavúky sú známe aj ako webové prehľadávače, vyhľadávacie roboty alebo jednoducho roboty.
Techopedia vysvetľuje Spider
Pavúk je v podstate program, ktorý sa používa na získavanie informácií z webu. Prechádza stránkami webových stránok, ktoré extrahujú informácie a indexujú ich pre neskoršie použitie, zvyčajne pre výsledky vyhľadávacích nástrojov. Pavúk navštevuje webové stránky a ich stránky prostredníctvom rôznych odkazov na stránky a zo stránok, takže stránka bez jediného odkazu na ňu bude ťažké indexovať a na stránke s výsledkami vyhľadávania môže byť na stránke skutočne nízka. A ak existuje veľa odkazov smerujúcich na stránku, znamenalo by to, že stránka je populárna a vo výsledkoch vyhľadávania by sa zobrazovala vyššie.
Kroky zapojené do indexového prehľadávania webu:
- Spider nájde web a začne prehľadávať jeho stránky.
- Pavúk indexuje slová a obsah stránky.
- Pavúk navštívi odkazy, ktoré sa nachádzajú na webe.
Pavúky alebo webmasteri sú iba programy a ako také dodržiavajú systematické pravidlá stanovené programátormi. Majitelia webových stránok sa k tomu môžu dostať aj tým, že spiderovi oznámia, ktoré časti webu majú indexovať a ktoré by nemali. To sa dosiahne vytvorením súboru „robots.txt“, ktorý obsahuje pokyny pre pavúka, ktoré časti indexu a odkazy sa majú nasledovať a ktoré by mali ignorovať. Najvýznamnejšími pavúkmi sú pavúky vo vlastníctve veľkých vyhľadávacích nástrojov, ako sú Google, Bing a Yahoo, a tie, ktoré sú určené na získavanie údajov a výskum, ale sú tiež napísané nejaké škodlivé pavúky, ktoré nájdu a zhromaždia e-maily, aby ich užívateľ mohol predať spoločnostiam. alebo nájsť zraniteľné miesta v zabezpečení webu.
