OSINT a wyszukiwanie informacji – własna wyszukiwarka

OSINT, czyli biały wywiad to przede wszystkim umiejętne wykorzystanie narzędzi, które są powszechnie dostępne w Internecie do uzyskiwania możliwie największej ilości danych. Podstawą do rozpoczęcia analizy źródeł otwartych jest proces ich odnalezienia oraz gromadzenia. Kiedy myślimy o wyszukiwaniu informacji w Internecie, to pierwsze co przychodzi nam do głowy to wyszukiwarka – zwykle Google, Bing, czy też Yandex. Więcej o wyszukiwarkach pisaliśmy w tym artykule. A co jeśli powiemy Wam, że można zbudować swoją wyszukiwarkę opartą o silnik Google, która będzie maksymalnie dostosowana do Waszych potrzeb, będzie przeszukiwać tylko określone przez Was zasoby i dawać rezultaty, które są trudne do osiągnięcia przy wykorzystaniu innych tego typu narzędzi? Przedstawiamy Custom Search Engine!

Google Custom Search Engine – co to takiego?

Domyślnie Custom Search Engine od Google to narzędzie, które pozwala na budowanie wewnętrznych wyszukiwarek na stronach, których jesteśmy właścicielami. Niemniej jednak nic nie stoi na przeszkodzie aby budować sobie własną wyszukiwarkę dla wielu zasobów i różnych stron internetowych. Wszak dobry analityk OSINT potrafi wykorzystać dostępne narzędzie w sposób nieoczywisty aby osiągnąć cel i uzyskać informacje. Warunkiem koniecznym do stworzenia własnej wyszukiwarki w tej technologii jest posiadanie konta Google. Custom Search Engine dostępne jest pod adresem https://cse.google.com/. Po wejściu na stronę musimy kliknąć przycisk „UTWÓRZ TWOJĄ WYSZUKIWARKĘ” i rozpocząć przygodę z nowym narzędziem.

Stwórzmy własną wyszukiwarkę do OSINT

Przeprowadzimy Was dzisiaj przez cały proces tworzenia własnej wyszukiwarki Custom Search Engine. Na potrzeby ćwiczenia wybraliśmy zbudowanie silnika, który będzie przeszukiwał strony internetowe zajmujące się publikowaniem informacji na temat sektora energetycznego i szeroko pojętej gospodarki. Wybraliśmy 5 stron internetowych – CIRE.pl, BiznesAlert.pl, WNP.pl, WysokieNapiecie.pl oraz Energetyka24.pl. W kreatorze Custom Search Engine możemy dodawać dowolną ilość stron (nam nie udało się zapełnić całości, może Wam się uda), które definiujemy w formie:

  • www.przykład.pl/strona.html – pojedyncza, zdefiniowana strona HTML – raczej mało użyteczne. Dobre dla bardzo długich stron typu lista rekordów. Może być wartościowe, kiedy strona jest długą listą rekordów i będziemy szukać czy występuje na niej jakieś słowo kluczowe.
  • www.przyklad.pl/* – cała witryna. Najbardziej użyteczna opcja. Używamy wówczas, gdy chcemy przeszukiwać wszystkie treści na wskazanej stronie internetowej.
  • www.przyklad.pl/dokumenty/* lub www.przyklad.pl/dokumenty/ – część witryny. Opcja użyteczna kiedy na dużej stronie internetowej chcemy przeszukiwać tylko określony dział np. „polityka międzynarodowa”.
  • *.example.com – cała domena. Raczej mało użyteczne, ale w niektórych sytuacjach może się sprawdzić (np. wpisując *.onet.pl przeszukujemy zarówno onet.pl, jak również kultura.onet.pl, rozrywka.onet.pl itp.).

Dla naszego przykładu zdefiniowaliśmy całe wymienione wcześniej domeny oraz ustawiliśmy język wyszukiwania na Polski. Ustawienia widać na poniższym zrzucie ekranu.

Podstawowa konfiguracja Custom Search Engine – wyszukiwarka na portalach gospodarczych i powiązanych z sektorem energetycznym

Własne Custom Search Engine gotowe! Ale co teraz?

Po utworzeniu wyszukiwarki otrzymujemy trzy opcje do wyboru:

  • Pobierz kod – pozwala na wklejenie bezpośrednio na posiadaną przez siebie stronę internetową kodu HTML, który umieści na niej stworzoną wyszukiwarkę. Jest to opcja najmniej użyteczna jeśli nie potrafimy programować w języku HTML.
  • Wyświetl w sieci – to co interesuje nas najbardziej – od razu mamy możliwość przeszukiwania stron przez nas zdefiniowanych. To co wyświetli nam się po kliknięciu „wyświetl w sieci” możemy dodać do zakładek w naszej przeglądarce i wykorzystywać wielokrotnie w przyszłych analizach.
  • Zmodyfikuj swoją wyszukiwarkę – bardzo istotna opcja, o której należy pamiętać. Pozwala bowiem na dokonfigurowanie naszej wyszukiwarki tak, aby wyniki były jak najbardziej zadowalające.

Zaawansowana konfiguracja stworzonej wyszukiwarki do OSINT

Poza prostymi ustawieniami, które możemy zmienić w opcjach customizacji (takie jak nazwa, czy opis wyszukiwarki) możemy m.in. definiować słowa kluczowe. Słowa kluczowe opisują zawartość lub temat Twojej wyszukiwarki i służą one do dostrajania wyników. Możemy także uruchomić wyszukiwarkę grafiki na wskazanych stronach oraz aktywować filtr SafeSearch (włączony filtr SafeSearch pomaga odfiltrować z wyników wyszukiwania Google obrazy, filmy i strony zawierające treści dla pełnoletnich). Warto także zauważyć, że w opcjach zaawansowanych możemy profilować wyszukiwarkę pod względem regionu, co często zwraca zupełnie różne wyniki. Poza prostym dodawaniem nowych witryn Custom Search Engine pozwala nam je kategoryzować i tworzyć ostatecznie ogromną multiwyszukiwarkę, która będzie analizować tylko te zasoby, które jej wskażemy.

Jak działa Custom Search Engine w praktyce?

Praktyczne wykorzystanie Custom Search Engine w toku prowadzenia analizy OSINT jest nieocenione. Pod jednym formularzem wyszukiwania otrzymujemy wyniki ze stron, które są dla nas najistotniejsze, bowiem sami je zdefiniowaliśmy. Przykładowe wyszukiwanie dla stworzonej przez nas Custom Search Engine widać poniżej na zrzutach ekranu. Warto zauważyć, że wyniki możemy sortować po dokładności wyszukiwania oraz dacie!

Przykład wyszukiwania na stworzonej wyszukiwarce dla słowa “NIEPRAWIDŁOWOŚCI”
Przykład wyszukiwania na stworzonej wyszukiwarce dla słowa “PRZETARG”

OSINT z Custom Search Engine – szukamy innych wyszukiwarek

Ogromną zaletą Custom Search Engine jest możliwość odnalezienia wyszukiwarek, które już zostały stworzone przez innych użytkowników Internetu. Zachęcamy do tego, ponieważ często są one bardzo użyteczne i skonfigurowane tak, że dają wyniki lepsze niż oryginalne wyszukiwarki wbudowane w portalach. Przykładem jest customowa wyszukiwarka stworzona dla portalu LinkedIn. LinkedIn domyślnie ogranicza liczbę wyników wyszukiwania jeśli konto, które używamy posiada niewielką sieć kontaktów. Aby przeszukiwać LinkedIn nawet bez konta możemy użyć Custom Search Engine, która nie tylko nie wymaga od nas abyśmy posiadali konto na portalu, ale także pozwala na odkrywanie tych danych, które domyślnie byłyby ukryte. Świetne narzędzie dla działów Human Resources i head hunterów. Poniżej prezent dla Was – wyszukiwarka do przeszukiwania LinkedIn z możliwością filtrowania krajów.

OTWÓRZ WYSZUKIWARKĘ LINKEDIN