OSINT, czyli biały wywiad to przede wszystkim umiejętne wykorzystanie narzędzi, które są powszechnie dostępne w Internecie do uzyskiwanie możliwie największej ilości danych. Podstawą do rozpoczęcia analizy źródeł otwartych jest proces ich odnalezienia oraz gromadzenia. Kiedy myślimy o wyszukiwaniu informacji w Internecie, to pierwsze co przychodzi nam do głowy to wyszukiwarka – zwykle Google, Bing, czy też Yandex. Więcej o wyszukiwarkach pisaliśmy w tym artykule. A co jeśli powiemy Wam, że można zbudować swoją wyszukiwarkę opartą o silnik Google, która będzie maksymalnie dostosowana do Waszych potrzeb, będzie przeszukiwać tylko określone przez Was zasoby i dawać rezultaty, które są trudne do osiągnięcia przy wykorzystaniu innych tego typu narzędzi? ZACZYNAJMY!
Google Custom Search Engine – co to takiego?
Domyślnie Custom Search Engine od Google to narzędzie, które pozwalać ma na budowanie wewnętrznych wyszukiwarek na stronach, których jesteśmy właścicielami. Pozwala to na uzyskiwanie trafnych wyników wyszukiwania bez czekania, dostosowywania wyników wyszukiwania oraz zarabiania na reklamach AdSense dla wyszukiwania. Niemniej jednak nic nie stoi na przeszkodzie aby budować sobie własną wyszukiwarkę dla wielu zasobów i różnych stron internetowych. Wszak dobry analityk OSINT potrafi wykorzystać dostępne narzędzie w sposób nieoczywisty aby osiągnąć cel i uzyskać informacje. Custom Search Engine dostępne jest pod adresem https://cse.google.com/. Tam musimy kliknąć przycisk „UTWÓRZ TWOJĄ WYSZUKIWARKĘ” i rozpocząć przygodę z nowym narzędziem.
Stwórzmy własną wyszukiwarkę do OSINT
Przeprowadzimy Was dzisiaj przez cały proces tworzenia własnej wyszukiwarki Custom Search Engine. Na potrzeby ćwiczenia wybraliśmy zbudowanie silnika, który będzie przeszukiwał strony internetowe zajmujące się publikowaniem informacji na temat sektora energetycznego i szeroko pojętej gospodarki. Wybraliśmy 5 stron internetowych – CIRE.pl, BiznesAlert.pl, WNP.pl, WysokieNapiecie.pl oraz Energetyka24.pl. W kreatorze Custom Search Engine możemy dodawać dowolną ilość stron (nam nie udało się zapełnić całości, może Wam się uda), które definiujemy w formie:
- www.example.com/strona.html – pojedyncza, zdefiniowana strona HTML – raczej mało użyteczne. Dobre dla bardzo długich stron typu lista rekordów. Może być wartościowe kiedy strona jest będziemy szukać czy występuje na niej jakieś słowo kluczowe.
- www.mojawitryna.com/* – cała witryna. Najbardziej użyteczna opcja. Używamy wówczas kiedy chcemy przeszukiwać wszystkie treści na wskazanej stronie internetowej.
- www.example.com/dokumenty/* lub www.example.com/dokumenty/ – część witryny. Opcja użyteczna kiedy na dużej stronie internetowej chcemy przeszukiwać tylko określony dział, np. „polityka międzynarodowa”.
- *.example.com – cała domena. Raczej mało użyteczne, ale w niektórych sytuacjach może się sprawdzić (np. wpisując *.onet.pl przeszukujemy zarówno onet.pl, jak również kultura.onet.pl, rozrywka.onet.pl itp.).
Dla naszego przykładu zdefiniowaliśmy całe wymienione wcześniej domeny oraz ustawiliśmy język wyszukiwania na Polski. Ustawienia widać na poniższym zrzucie ekranu.
Własne Custom Search Engine gotowe! Ale co teraz?
Po utworzeniu wyszukiwarki otrzymujemy trzy opcje do wyboru:
- Pobierz kod – pozwala na wklejenie bezpośrednio na posiadaną przez siebie stronę internetową kodu HTML, który umieści na niej stworzoną wyszukiwarkę. Jest to opcja najmniej użyteczna jeśli nie potrafimy programować w języku HTML.
- Wyświetl w sieci – to co interesuje nas najbardziej – od razu mamy możliwość przeszukiwania stron przez nas zdefiniowanych. To co wyświetli nam się po kliknięciu „wyświetl w sieci” możemy dodać do zakładek w naszej przeglądarce i wykorzystywać wielokrotnie w przyszłych analizach.
- Zmodyfikuj swoją wyszukiwarkę – bardzo istotna opcja, o której należy pamiętać. Pozwala bowiem na dokonfigurowanie naszej wyszukiwarki tak aby wyniki były jak najbardziej zadowalające.
Zaawansowana konfiguracja stworzonej wyszukiwarki do OSINT
Poza prostymi ustawieniami, które możemy zmienić w opcjach customizacji (takie jak nazwa, czy opis wyszukiwarki) możemy m.in. definiować słowa kluczowe. Słowa kluczowe opisują zawartość lub temat Twojej wyszukiwarki. Służą one do dostrajania wyników wyszukiwarki. Możemy także uruchomić wyszukiwarkę grafiki na wskazanych stronach oraz aktywować filtr SafeSearch (włączony filtr SafeSearch pomaga odfiltrować z wyników wyszukiwania Google obrazy, filmy i strony zawierające treści dla pełnoletnich). Warto także zauważyć, że w opcjach zaawansowanych możemy profilować wyszukiwarkę pod względem regionu, co często zwraca zupełnie różne wyniki. Poza prostym dodawaniem nowych witryn Custom Search Engine pozwala nam je kategoryzować i tworzyć ostatecznie ogromną multiwyszukiwarkę, która będzie analizować tylko te zasoby, które jej wskażemy.
Jak działa Custom Search Engine w praktyce?
Praktyczne wykorzystanie Custom Search Engine w toku prowadzenia analizy OSINT jest nieocenione. Pod jednym formularzem wyszukiwania otrzymujemy wyniki ze stron, które są dla nas najistotniejsze, bowiem sami je zdefiniowaliśmy. Przykładowe wyszukiwanie dla stworzonej przez nas Custom Search Engine widać poniżej na zrzutach ekranu. Warto zauważyć, że wyniki możemy sortować po dokładności wyszukiwania oraz dacie!
OSINT z Custom Search Engine – szukamy innych wyszukiwarek
Ogromną zaletą Custom Search Engine jest możliwość odnalezienia wyszukiwarek, które już zostały stworzone przez innych użytkowników Internetu. Zachęcamy do tego bardzo mocno, ponieważ bardzo często są one bardzo użyteczne i skonfigurowane tak, że dają wyniki lepsze niż oryginalne wyszukiwarki wbudowane w portalach. Przykładem jest Custom Search Engine stworzona dla portalu LinkedIn. LinkedIn domyślnie ukrywa dane swoich użytkowników jeśli konto, które używamy posiada niewielką sieć kontaktów. Aby przeszukiwać LinkedIn nawet bez konta możemy użyć Custom Search Engine, która nie tylko nie wymaga od nas abyśmy posiadali konto na portalu, ale także pozwala na odkrywanie tych danych, które domyślnie byłyby ukryte. Świetne narzędzie dla działów Human Resources i head hunterów. Poniżej prezent dla Was – wyszukiwarka do wyszukiwania kandydatów do pracy!