Pająk

Pająk to oprogramowanie, które podróżuje po sieci (stąd nazwa „pająk”), lokalizuje i indeksuje witryny internetowe dla wyszukiwarek. Wszystkie główne wyszukiwarki, takie jak Google i Yahoo !, używają pająków do tworzenia i aktualizowania swoich indeksów. Programy te nieustannie przeglądają sieć, podróżując z jednego hiperłącze do innego.

Na przykład, gdy pająk odwiedza stronę główną witryny internetowej, może ona zawierać 30 linków. Pająk będzie podążał za każdym z linków, dodając wszystkie znalezione strony do indeksu wyszukiwarki. Oczywiście nowe strony znalezione przez pająka mogą również zawierać linki, które pająk nadal śledzi. Niektóre z tych linków mogą prowadzić do stron w tej samej witrynie (linki wewnętrzne), podczas gdy inne mogą prowadzić do innych witryn (linki zewnętrzne). Linki zewnętrzne spowodują, że pająk będzie przeskakiwał do nowych witryn, indeksując jeszcze więcej stron.

Ze względu na przeplatany charakter linków do witryn, pająki często wracają do witryn, które zostały już zindeksowane. Dzięki temu wyszukiwarki mogą śledzić, ile stron zewnętrznych zawiera linki do każdej strony. Zwykle im więcej linków przychodzących ma strona, tym wyższa będzie jej pozycja w wynikach wyszukiwania. Pająki nie tylko znajdują nowe strony i śledzą linki, ale także śledzą zmiany na każdej stronie, pomagając w utrzymywaniu aktualności indeksów wyszukiwarek.

Pająki nazywane są również robotami i pełzaczami, co może być preferowane dla tych, którzy nie przepadają za pajęczakami. Słowo „pająk” może być również użyte jako czasownik, na przykład „Ta wyszukiwarka w zeszłym tygodniu zafascynowała moją witrynę”.