Zastanawiasz się czy warto rozpoczynać pracę z technologiami Big Data? Nie wiesz czy jest to dla Ciebie? Obecne stanowisko nie daje Tobie satysfakcji i szukasz inspiracji do zmiany specjalizacji? A może po prostu chcesz wiedzieć więcej o co w tym wszystkim chodzi?
W poniższym wpisie opowiem dlaczego warto zainteresować się technologiami Big Data oraz czy znajdziesz pracę w tym obszarze. Nagrałem również do tego podcast w oparciu o poniższy materiał. Jeżeli preferujesz wersję audio możesz odsłuchać poniżej lub na Spotify na kanale iLoveData – Podcast o danych.
Obecnie mówi się, że dane są ropą XXI wieku, są bardzo cennym towarem. Niezależnie od profilu działalności firmy, instytucji, dane gromadzą wszyscy i to co raz więcej. Chodź między ropą naftową i danymi istnieje pewna znacząca różnica – tą różnicę wskazał autor książki „Historia Doliny Krzemowej” Piero Scaruffi. Efektem obróbki czarnego złota nie jest wytwarzanie więcej ropy. W przypadku obróbki danych mogą to być autonomiczne samochody, drony lub urządzenia, które „nosimy na sobie” – opaski i inne urządzenia do pomiaru różnego typu parametrów, które generują wiele danych.
W tym momencie wiele podmiotów wykorzystuje możliwość gromadzenia dużej ilości danych oraz ich przetwarzania. Są to na przykład banki, właściciele portali internetowych oraz wszelkiej maści firmy, które posiadają swoje aplikacji oraz firmy zajmujące się marketingiem.
Jakiś czas temu wiele firm uległo trendowi Big Data. Mówili „chodź zrobimy Big Data”, ale problem polegał na tym, że tworzyli stanowiska i korzystali z narzędzi, które nie do końca są rozwiązaniami dla Big Data, ale raczej dla niewielkich zbiorów. W zasadzie Excel byłby wystarczający, ale wiadomo jak jest – kiedy pojawia się buzzword to w firmach znajdują się magiczne budżety.
Co może Ciebie przekonać do pracy z technologiami Big Data?
- Gwałtowny przyrost danych
Codziennie ogromne ilości danych są przetwarzanych oraz gromadzonych. W dobie Internetu i biznesu opartego o wysoki stopień informatyzacji tych danych będzie tylko przybywać. To z kolei zwiększa zapotrzebowanie na specjalistów w zakresie obróbki danych jak i utrzymania. - Zwiększone zapotrzebowanie na specjalistów od danych
Istnieje wiele stanowisk, które dotyczą technicznej pracy w obszarze Big Data oraz na poziomie menadżerskim. Dodatkowo wiele firm zdaje sobie sprawę z niedoboru ilości specjalistów i jest w stanie poświęcić czas oraz pieniądze na szkolenia. Stanowiska takie jak data analyst, data scientist, big data developer, data engineer mają przyszłość! - Ogromna luka związana z umiejętnościami
Obszary takie jak Data Science, Big Data, Artificial Intelligence rosną i będą rosnąć. Na Świecie wciąż brakuje wielu specjalistów z odpowiednimi kwalifikacjami, którzy mają wiedzę jak zajmować się danymi. Dlatego zapotrzebowanie na tego typu dziedziny wciąż rośnie, a firmy poszukują pracowników właśnie z tych obszarów. - Źródła danych, z którymi musimy się zmierzyć
W tym momencie dane, które są generowanie przez systemy, blogi, portale, media społecznościowe mają postać ustrukturyzowanych oraz nieustrukturyzowanych. Wiele firm przetwarza oraz analizuje takie dane. Na każdym poziomie: gromadzenia, przetwarzania lub analizy tych danych są potrzebni specjaliści. - Profesjonalizm i wynagrodzenie
„Ludzie od Big Data” cieszą się dużym zainteresowaniem. Sam otrzymuje w miesiącu kilka ofert na LinkedIn, oczywiście cześć z tych ofert nie pasuje wprost do mojego profilu. Choćby ze względu na wykorzystywane technologie lub długość pracy w konkretnych narzędziach. Wracając do meritum, profesjonalizm i doświadczenie przekłada się również na wyższe wynagrodzenie.
Istnieje wiele branż, w których wykorzystywanie dużych zbiorów danych ma wielkie znaczenie. Zaczynając od handlu elektronicznego, detalicznego, opiece zdrowotnej, a kończąc na bankowości i branży turystycznej. Według prognoz Światowego Forum Ekonomicznego w roku 2020 wzrośnie popyt na analityków danych oraz data scientist na całym świecie. Podobne wnioski ma również IBM, który planuje w 2020 roku przeprowadzić rekrutacji w tysiącach na takie stanowiska jak Data Scientist, Data Engineer czy Big Data Developer.
W kontekście wynagrodzeń w Polsce radzimy sobie całkiem dobrze. Zarobki na poziomie 10 000 – 15 000 PLN brutto na umowę o pracę są standardem. Dla B2B wiadomo, że będzie to odpowiednio więcej. Oczywiście są oferty przewyższające te kwoty, możesz je znaleźć m.in. na grupie, na Facebooku o nazwie Praca: Big Data.
Jakimi technologiami warto się zainteresować?
Niestety nie ma jednoznacznej odpowiedzi. W świecie Big Data jest wiele narzędzi , a wykorzystywane technologie zmieniają się co kilka lat. Jeszcze kilka lat temu oczywistym wyborem było stworzenie klastra Hadoop do przygotowania streamingu z użyciem Sparka. Teraz mamy takie narzędzie jak Databricks i nie potrzebujemy wielkiego klastra, bo możemy zorganizować sobie pełne środowisko w jednej z popularnych chmur. Wszystko zależy od potrzeb firm, czasami migracje do nowych środowisk mogą być zbyt kosztowne dla firmy, a czasami to po prostu decyzja polityczna.🙂
Generalnie każda firma prężnie działająca prędzej czy później będzie zaangażowana w proces wdrażania technologii Big Data. Jako osoba chcąca wsiąść do tego pociągu warto śledzić w Internecie jakie są aktualnie wykorzystywane narzędzia, jakie są perspektywy dla konkretnych kategorii i rozpoczęcie nauki. Później na pewno znajdziesz pracę w Big Data! 😉
Podsumowanie
Analityka Big Data jest wykorzystywana w wielu obszarach nowoczesnego przedsiębiorstwa. Dlatego co raz więcej organizacji bierze z nich przykład chcąc dołączyć do tego wyścigu. W rezultacie rośnie popyt na osoby o wysokich umiejętnościach analitycznych oraz znających zagadnienia związane z obróbką danych, analizą tych danych oraz utrzymaniem narzędzi.