Wyszukiwarka internetowa (ang. search engine) to program albo strona internetowa, której zadaniem jest ułatwienie użytkownikom znalezienie informacji w sieci.
Określenie wyszukiwarka stosujemy do:
- Stron internetowych serwisów wyszukujących - czyli implementacji oprogramowania wyszukującego działającego z interfejsem WWW ogólnodostępnym dla internautów
- Oprogramowania przeznaczonego do indeksowania oraz wyszukiwania informacji w sieciach komputerowych: internecie, intranecie.
Gromadzą w sposób automatyczny informacje o dokumentach tekstowych oraz plikach zgromadzonych w sieci (obszarze wyznaczonym dla wyszukiwarki do indeksowania).
Historia wyszukiwarek
Historia wyszukiwarek na świecie
Historia wyszukiwarek w Polsce
Podział wyszukiwarek
Wyszukiwarki oparte na analizie treści strony
Gdyż Internet rośnie wydatnie szybciej niż jakakolwiek grupa ludzi może go katalogować oraz z powodu wad katalogów (np. pod danym hasłem może znajdować się tysiące stron), powstały wyszukiwarki, które przeszukują Internet analizując zawartość stron. Gdy użytkownik poda wyszukiwarce zapytanie, ona odpowie mu łączami do stron, które uzna, w zależności od użytego algorytmu, za najbardziej odpowiednie.
Wyszukiwarki oparte na tej zasadzie potrafią objąć wydatnie większą cząstka sieci niż katalogi. Niestety są one bardzo podatne na nadużycia, przez co użytkownik zamiast użytecznych informacji dostaje linki na strony nie mające nic wspólnego z jego zapytaniem. Szczególnie wyspecjalizowały się w tym strony pornograficzne.
Wyszukiwarki oparte na analizie topologii sieci
Żeby przeciwdziałać temu, wyszukiwarki zaczęły stosować analizę topologii sieci. Tak więc stronę uważa się za odpowiadającą zapytaniu "britney spears", jeśli wiele stron na temat "britney spears" do niej linkuje. Strona porno z nagimi zdjęciami Britney, niezależnie od własnej treści oraz niezależnie od całkowitej liczby linków (głównie z innych stron porno) na nią, nie będzie w ten sposób uznana za związaną z tematem. Natomiast jeśli zada się zapytanie "britney spears nude", strona ta zostanie uznana za istotną, albowiem linkuje na nią wiele stron o tematyce "nude".
Początkowa istotność na podstawie prostej heurystyki, po czym zwykle używa się algorytmu losowego skakania po linkach.
Pierwszą wyszukiwarką, która zastosowała zaawansowane algorytmy analizy topologii sieci był Google.
Wyszukiwarki oparte na analizie topologicznej są wielokrotnie uważane za bardzo odporne na nadużycia. W rzeczywistości stosunkowo częstym atakiem są spam-systemy automatycznej wymiany linków. Inną formą ataku jest stworzenie dużej ilości gęsto linkowanych stron, z czego wszystkie na ten sam temat. Jest to jednak zadanie trudne oraz wymagające dużego nakładu pracy, a modyfikując heurystykę wartości początkowych da się wydatnie ograniczyć ten proceder, którego skala na razie jest minimalna.
Wyszukiwarki oparte na zasadzie aukcji miejsc
Osobnym pomysłem jest wprowadzony przez Overture (nulloverture.com/ ) system, gdzie strony płacą wyszukiwarce parę centów za każde kliknięcie, przy czym miejsca są licytowane - strona która daje więcej za kliknięcie znajdzie się wyżej na liście rezultatów. Pozycje płatne są oznaczone jako takie, razem z ceną. System ten jest korzystny dla właścicieli stron - płacą oni tylko za wejścia nie za wyświetlenia. Twórcy twierdzą, że jest on także korzystny dla użytkownika, albowiem tylko strony, które oferują coś użytecznego z danej dziedziny potrafią sobie pozwolić na taką reklamę. Z drugiej jednak strony wiele użytecznych stron jest niekomercyjnych, a nawet przy stronach komercyjnych wyniki będą wielokrotnie nieoptymalne - np. na taką reklamę nie potrafią sobie pozwolić strony, które posiadają małe marże oraz oferują produkty po niskich cenach, a zaledwie te, które posiadają wysokie marże oraz oferują produkty drożej.
Reklamy w wyszukiwarkach
Wyszukiwarki stanowią wymarzony cel reklamodawców, albowiem posiadają oni praktycznie pełną gwarancję, że osoba wyszukująca dane hasło jest nim zainteresowana. Tak więc przeważajaca ilość wyszukiwarek oferuje reklamy zależne od treści zapytań (np. AdWords oferowany przez Google). Nie stale są one właściwie oddzielone od wyników poszukiwań, co stało się źródłem protestów grup ochrony praw konsumentów oraz kilku do dziś nierozstrzygniętych spraw sądowych. Z uwagi na szeroką krytykę procederu nieoddzielania reklam od wyników, przeważajaca ilość wyszukiwarek z niego zrezygnowała oraz wyraźnie zaznacza teraz reklamy.
Oprogramowanie wyszukiwarek
Oprogramowanie wyszukiwarek to zestaw programów, modułów, z których każdy ma oddzielne zadanie. W skład zestawu wchodzą takie elementy jak:
- Crawler, Robot, Pająk, Spider, Bot - moduły pobierające dokumenty z sieci
- Indekser - moduł analizujący oraz oceniający
- Searcher - interfejs wyszukujący wyszukiwarki/podsystem odpowiadający na zapytania/analizator zapytań oraz moduł prezentacji wyników
Oraz dochodzą do tego:
- programy konwersji dokumentów (np. PDF)
- programy archiwizujące repozytorium (najczęściej w postaci skompresowanej)
- programy analizy oraz wykrywania technik niepożądanych (spam)
- moduły administracyjne
Współczesne oprogramowanie wyszukiwarek jest wysoce skomplikowanym systemem rozproszonym uruchamianym zwykle w wielu oddzielnych etapach na tysiącach oddzielnych komputerów - zarówno ze względu na rozmiar oraz skalę przeszukiwanej sieci, jak oraz ze względów na poprawienie dostępności usługi w wypadku awarii poszczególnych komponentów.
Algorytmy stosowane w wyszukiwarkach
Algorytmy oceny istotności (tzw. relewancji) dokumentu względem szukanej frazy - algorytmy oceny zawartości strony
Poprawa istotności oraz jakości wyników wyszukiwania
- grupowanie (klasteryzacja oraz automatyczne łączenie wyników w łatwo przeszukiwalne kategorie)
- dostosowanie wyniku do osoby (personalizacja)
- tezaurus (użycie synonimów), podpowiedzi, weryfikacja pisowni, odmiana przez przypadki, wyszukiwanie słów o podobnym rdzeniu albo z pomyłkami
- stop-words (ignorowanie krótkich powszechnie występujących słów, takich jak spójniki oraz zaimki, np. "i", "z").
Sprawdź też
Linki zewnętrzne