Optymalizacja usługi Hadoopa jest jednym z kilku elementów, który wpływa na wydajność klastra. Podczas pracy z takim środowiskiem spotykamy wiele smaczków. Czasami trafiamy na ślady zmian wykonywanych przez kolegów, które zostały wprowadzone na chwilę. W rezultacie klaster może tracić na wydajności. Czasem nawet kilkanaście procent. Często zdarza się również tak, że wartości, które znajdziemy w […]
W tym tygodniu odkryłem nowy edytor SQL – Beekeeper Studio. Praca z nim przemawia do mnie z kilku powodów. Oczywiście nie w każdej sytuacji będzie to możliwe, czasami jesteśmy zmuszeni do pracy z narzędziem narzuconym odgórnie. Poza fancy wyglądem Beekeeper Studio wyróżnia się takimi aspektami jak: Jest darmowy i open source Prywatność. Autorzy projektu zastrzegają, […]
Czasami zdarza się tak, że potrzebujemy przekonwertować liczbę ujemną na liczbę dodanią. W języku SQL jest to możliwe dzięki wbudowanej funkcji matematycznej ABS. Jeżeli chcesz użyć tej funkcji wystarczy skorzystać z jej wywołania podczas pisania zapytania. Sprawdź poniżej jak użyć funkcji ABS i przekonwertować wartość ujemną na dodanią. Oczywiście w sytuacji, w której użyjemy funkcji […]
Co raz więcej danych jest wykorzystywanych przez firmy na potrzeby zwiększenia konkurencyjności na rynku. Jeszcze kilka lat temu te same dane były tylko gromadzone dla samego faktu gromadzenia. Rynek zasiał buzzword w stylu „robimy big data” a serwery robiły puste przebiegi. Na szczęście organizacje dojrzewają do decyzji związanej z wykorzystaniem zgromadzonych danych. Jaki trendy w obszarze big data […]
Bez wątpienia liczba przypadków zachorowań na COVID-19 rośnie w ogromnym tempie. Zespoły naukowców na świecie pracują obecnie nad szczepionką. Większość osób zdaje sobie sprawę z tego, że opracowanie takiej szczepionki i rozpoczęcie podawania im ludziom zajmie jeszcze kilka miesięcy. Zespoły naukowców na całym świecie pracują nad wynalezieniem „broni” do walki z tym wirusem.Jak ma się to […]
W ostatnim czasie widzę dużą popularność tworzenia wizualizacji w oparciu o dane dotyczące zachorowań na COVID-19. Wcale się nie dziwie, bo jest to realny przykład na wykorzystanie danych. Twórcy, które wykorzystują narzędzia lub technologie związane z tworzeniem wizualizacji mają pole do popisu. Z wielu dostępnych, wybrałem moim zdaniem najlepsze wizualizacje, które widziałem do tej pory. […]
Co masz na myśli mówiąc „Mamy klaster Hadoopa”? Najczęściej w dużym uproszczeniu nazywamy tak jedną z dystrybucji Cloudera lub Hortonworks albo MapR. Jakie usługi potrzebujesz do uruchomienia klastra Hadoop? W poniższym wpisie opowiem Tobie o podstawowych i kluczowych usługach, których potrzebujesz do uruchomienia klastra Hadoop. Nagrałem również do tego podcast w oparciu o poniższy materiał. Jeżeli […]
Microsoft ogłosił wygaszenie niektórych certyfikatów. Firma wycofa je z końcem czerwca tego roku. Dalej chce koncentrować się na szkoleniach i certyfikatach opartych o role. Taka strategia jest budowana od roku 2018 i moim zdaniem dobrze się stało, że ten trend jest kontynuowany. Wygaszenie dotyczy następujących certyfikatów: Microsoft Certified Solutions Associate (MCSA) Microsoft Certified Solutions Expert […]
Web Scraping to nic innego jak metoda wyciągania danych ze stron internetowych. Do tego celu można wykorzystać skrypt napisany przez nas w Pythonie lub gotowy soft. Web scrapery głównie wykorzystywane są do wychwycenia okazji w sklepach internetowych, tańszych biletów lotniczych itp. Kiedy mamy już wprawę w pisaniu takiego web scrapera możemy, np. dodać opcję zakupu […]