OSINT i wyszukiwarki. Czy istnieje świat poza Google?

Wyszukiwarka – podstawowe narzędzie OSINT

Analiza źródeł otwartych (OSINT) łączy w sobie wiele technik i narzędzi niezbędnych do eksploracji niezliczonych zasobów Internetu. Jednym z podstawowych narzędzi OSINT są wyszukiwarki, a technik, które można w nich stosować jest jeszcze więcej, niż samych wyszukiwarek. Pytanie, na które chcemy dziś odpowiedzieć w artykule dotyczy naszych nawyków przy wyszukiwaniu informacji w Internecie. Każda z wyszukiwarek ma odmienne algorytmy, które mają wpływ na to co otrzymujemy w wyniku sprawdzeń. Oznacza to, że będą się one różnić w zależności od zapytań i samych wyszukiwarek. Użycie więc różnych „silników” wpłynie na uzyskanie pełniejszych, bardziej zbliżonych do prawdy wyników. W osintquest.pl zachęcamy do czegoś więcej!

A ty jakiej wyszukiwarki używasz do OSINT-u?

Jeśli zapytamy przeciętnego użytkownika Internetu jakiej wyszukiwarki używa, to bez wątpienia większość odpowie, że Google. Z danych statystycznych umieszczonych na stronie gs.statcounter.com wynika, że we wrześniu 2019 r. w Polsce najpopularniejsze wyszukiwarki to:

Google – 98,38%
Bing – 0,73%
Yahoo (Oath)– 0,48%
DuckDuckGo – 0,11%
Interia Katalog – 0,06%
Yandex RU– 0,04%.

Rodzaje wyszukiwarek

Wyszukiwarka w najprostrzej definicji to aplikacja indeksująca treści (w przypadku wyszukiwarek internetowych indeksuje treści znajdujące się w sieci) i pozwala je przeszukiwać oraz wyświetlać wyniki tego wyszukiwania. Warto jednak zauważyć, że wyszukiwarki mogą w różny sposób prezentować te dane. I w tym szczególe tkwi główna metodologia, która rozróżnia wyszukiwarki na horyzontalne i wertykalne.

Wyszukiwarki horyzontalne

Wyszukiwarki horyzontalne to takie, które przeszukują całą sieć. Są uniwersalne. Wśród nich wymienić należy:

Google – stworzona w 1998 r. od tego czasu zdominowała rynek, dla wielu osób punkt wyjściowy do wyszukiwania. Program prawdziwie globalny. Warto zwrócić uwagę, że sama wyszukiwarka pozwala także na szukanie po zdjęciu, wykorzystywanie operatorów logicznych i znaków specjalnych do zawężania wyników, a także na customizację pod kątem lokalizacji, czy chociażby języka. Google warto poświęcić oddzielny obszerny artykuł.
Yandex – rosyjski odpowiednik Google, posiada standardowe pola wyszukiwania oraz dodatkowe dot. wyszukiwania obrazów i materiałów wideo oraz wiadomości. Poprawność wyszukiwania obrazem pozytywnie wyróżnia tę wyszukiwarkę. Obowiązkowa jeśli potrzebujemy informacji z obszaru b. ZSRR. Warto także podkreślić, że Yandex radzi sobie rewelacyjnie z indeksowaniem kont Facebook, vKontakte (rosyjski odpowiednik Facebook) oraz Odnoklassniki (rosyjski odpowiednik Naszej Klasy). Yandex w wyszukiwaniu treści na tych portalach jest nieoceniony i prześciga w tym względzie Google.
Bing – główny konkurent Google na rynku amerykańskim (20% udziału), opracowana przez Microsoft. Pozwala na wykorzystywanie operatorów logicznych i znaków specjalnych, ma moduł map i wyszukiwania zdjęć. Warto zauważyć, że mapy Bing i Google się różnią i czasem treści, które są zamazana na Google mogą być widoczne w Bing.
Baidu – opracowana w 2000 r. w Chinach, gdzie jest najpopularniejszą wyszukiwarką. Pod nazwą Baidu Knows znajduje się chiński odpowiednik Wikipedii. Nieoceniona przy analizie źródeł otwartych dotyczącej kierunków dalekowschodnich.
DuckDuckGo – powstała w 2008 r., reklamuje się jako wyszukiwarka, która chroni prywatność i nie śledzi użytkowników. Ma nowatorską technologię Bangs!, która polega na użycie skrótów literowych i przyśpieszenie całego procesu wyszukiwania. Technologię tę przybliżymy w jednym z następnych artykułów, ponieważ w naszej ocenie jest rewolucyjna!
Etools.ch – wyszukiwarka szwajcarska. Prawdziwy kombajn, który wysyła zapytania do 15 innych wyszukiwarek, zawiera pokaźną liczbę linków do specjalistycznych baz wiedzy dot. Szwajcarii, moduł tłumacza i rejestry działalności gospodarczej w tym kraju. Zwykle jest to „ostatnia deska ratunku” w wyszukiwaniu treści w źródłach otwartych.

Wyszukiwarki klastrujące

Wyszukiwarki klastrujące przeprowadzają kategoryzację wyników wyszukiwania i umożliwiają zmodyfikowanie kierunków poprzez użycie innych słów kluczowych. Ich ogromną zaletą jest to, że poza wynikami bezpośrednio związanymi z naszym wyszukiwaniem, pokazują także liczne słowa kluczowe dookoła analizowanego przez nas tematu, które mogą nas naprowadzać na nowe zagadnienia dotyczącej tej samej analizy. Przykłady takich wyszukiwarek, to:

Carrot2 – wyszukiwarka klastrująca, stworzona w otwartej architekturze.

Yippy – działająca od 2004 r. w oparciu o system IBM o nazwie Watson.

OSINT i wyszukiwarki – co przyniesie przyszłość?

Obecnie Google wprowadza nowy algorytm wyszukiwania pod nazwą BERT,
który według szacunków ma wpłynąć na 10% wyników. Jest on oparty o przetwarzanie języka naturalnego z wykorzystaniem technologii sieci neuronowej. Algorytmy mają lepiej interpretować kontekst zapytań i w konsekwencji dawać bardziej poprawne odpowiedzi.

Czy to oznacza, że zmierzamy w kierunku „magicznego czerwonego przycisku” dzięki któremu uzyskamy tą jedyną właściwą odpowiedź? Prawdopodobnie, choć to odległa przyszłość. W dalszym ciągu dobrym nawykiem jest korzystanie z kilku wyszukiwarek i otrzymywanie bardziej zróżnicowanych wyników, które dają pełną wiedzę.

Potwórzmy to jeszcze raz

Analiza OSINT to nie tylko weryfikacja w Google. Wykorzystanie wyszukiwarek to jeden z pierwszych podstawowych kroków analizy. Samo szybkie sprawdzenie w Google nie jest wystarczające przy rzetelnym researchu. Pamiętajmy o silnikach wertykalnych i horyzontalnych. Warto także zwrócić uwagę, że istnieje szereg wyszukiwarek, o których nie wspomnieliśmy w artykule, a są także warte przetestowania. Przykładem ciekawej aplikacji jest Wolfram Alfa, który pozwala na zadawanie pytań kontekstowych. W ostatnim czasie ukazała się także wyszukiwarka Searx.me, która nie śledzi zapytań użytkownika. Pamietajmy także, że poza otwartym Internetem istnieje także Dark Net (sieć TOR), który także możemy przeszukiwać, np. przy wykorzystaniu wyszukiwarki Ahmia.