
Sprzedaż detaliczna/Web Development
Internetowa platforma do projektowania wnętrz
Narzędzie internetowe 3D do projektowania pomieszczeń i doboru mebli
Zobacz projektFirmy zazwyczaj zaczynają rozważać usługi konsultingowe w zakresie Big Data, gdy istniejąca platforma nadal działa, ale staje się trudna do przewidywalnego skalowania. Problemy często mają charakter operacyjny, a nie czysto analityczny i mogą wpływać na okna przetwarzania, koszty infrastruktury, dostęp do danych historycznych oraz nakład pracy wymagany do dodania nowych źródeł danych.
Przetwarzanie, które raz zostało ukończone w nocy, zaczyna się w ciągu dnia roboczego, a nieudane zadanie może opóźnić wszystko, co od niego zależy. Użytkownicy biznesowi otrzymują raporty opóźnione o kilka godzin lub dzień w systemach źródłowych, a ponowne uruchomienia konkurują z kolejnym zaplanowanym obciążeniem zamiast nadrabiać zaległości.
Wydatki na moc obliczeniową i pamięć masową rosną wraz z dodawaniem nowych źródeł, raportów i obciążeń, ale trudno jest przypisać ten koszt do konkretnego potoku, zespołu, zestawu danych lub przypadku użycia. Bez widoczności na poziomie obciążenia budżetowanie staje się trudniejsze, a obawy dotyczące kosztów mogą zacząć ograniczać możliwości zespołu ds. danych.
Starsze dane mogą zostać przeniesione do chłodniejszych magazynów lub archiwów, aby utrzymać aktywne środowisko w zarządzaniu. W rezultacie analizy rok do roku, analizy kohortowe i inne analizy długoterminowe mogą wymagać prac rekonstrukcyjnych lub wsparcia inżynieryjnego, zanim w ogóle uda się uzyskać odpowiedź na pytanie.
Strumienie zdarzeń, dane telemetryczne, logi i kanały zewnętrzne są integrowane pojedynczo, z których każdy ma własną logikę przetwarzania, obsługę schematów i zachowanie w przypadku awarii. Bez wzorców wielokrotnego użytku, nakład pracy inżynieryjnej wymagany dla każdego dodatkowego źródła pozostaje wysoki, a obciążenie konserwacyjne rośnie z każdą integracją.
Usługi Solbeg w zakresie big data obejmują projektowanie, wdrażanie i obsługę platform przeznaczonych do przetwarzania dużych wolumenów, przetwarzania z wysoką częstotliwością oraz obsługi mieszanych formatów danych. Prace można rozpocząć w istniejącym środowisku, które zbliża się do granic swoich możliwości, lub od nowej platformy zaprojektowanej od podstaw z myślą o przetwarzaniu rozproszonym.
Problem
W dużej skali zmienia się ilość danych, co sprawia, że decyzje inżynieryjne stają się krytyczne
Przy umiarkowanych wolumenach danych, nieefektywne łączenia, słabe partycjonowanie lub niepotrzebne pełne ponowne przetwarzanie mogą początkowo wydawać się ograniczeniami wydajnościowymi, które można rozwiązać poprzez dodanie zasobów. W większej skali te same decyzje projektowe mogą decydować o tym, czy obciążenie zakończy się w wymaganym przedziale czasowym przetwarzania i czy koszty infrastruktury pozostaną na zrównoważonym poziomie.
Ograniczenia te często stają się widoczne, gdy obecne środowisko jest nadal aktywnie użytkowane. Zwiększenie mocy obliczeniowej lub pamięci masowej może zapewnić dodatkową przepustowość, ale jeśli ograniczenie wynika z projektu przetwarzania, strategii partycjonowania, układu danych lub wielokrotnych pełnych skanów, samo zwiększenie zasobów może nie rozwiązać problemu.
Przetwarzanie rozproszone wprowadza również wymagania operacyjne, które nie pojawiają się w ten sam sposób w mniejszych systemach. Zadania mogą kończyć się częściowym niepowodzeniem, dane mogą docierać z opóźnieniem lub w nieodpowiedniej kolejności, schematy mogą ulegać zmianom, a ponowne uruchomienia muszą unikać duplikowania lub uszkadzania wyników. Zachowania te należy uwzględnić w projekcie platformy, a nie dodawać dopiero po wystąpieniu awarii w środowisku produkcyjnym.
Obsługa platformy wymaga również doświadczenia w pracy z dużymi, rozproszonymi obciążeniami. Decyzje architektoniczne, które wydają się rozsądne w mniejszej skali, mogą ujawnić ograniczenia wydajności, niezawodności lub kosztów dopiero po zwiększeniu wolumenu danych i współbieżności obciążeń.
Podejście Solbega
Decyzje dotyczące architektury opierają się na mierzonych obciążeniach
Zaczynamy od samych obciążeń: wolumenów danych, tempa wzrostu, czasu przetwarzania, wzorców zapytań, historii awarii, wykorzystania zasobów i dostępnych informacji o kosztach. Konsultacje w zakresie dużych zbiorów danych na tym etapie mają charakter diagnostyczny, pomagając odróżnić ograniczenia spowodowane niewystarczającą przepustowością od tych wynikających z architektury lub projektu obciążenia.
W przypadku, gdy istniejące środowisko jest skalowane głównie poprzez dodawanie zasobów, najpierw identyfikujemy obciążenia, które można ulepszyć poprzez zmiany, takie jak partycjonowanie, przetwarzanie przyrostowe, format pamięci masowej, układ danych lub konfiguracja wykonywania. Pozwala to na ustalenie bardziej realistycznego punktu odniesienia przed rozważeniem większej migracji lub przeprojektowania platformy.
Zachowanie operacyjne jest definiowane wraz z potokiem. Reguły ponawiania prób, bezpieczne ponowne uruchomienia, obsługa danych spóźnionych i nieuporządkowanych, ewolucja schematu, monitorowanie i alerty są określane zgodnie z rolą i krytycznością każdego obciążenia, dzięki czemu oczekiwane zachowanie jest jasne przed wystąpieniem incydentów.
Nasze usługi rozwoju Big Data mogą być również ustrukturyzowane tak, aby inżynierowie klienta nadal byli zaangażowani w rozwój platformy, a nie otrzymywali ją dopiero przy przekazaniu. Decyzje architektoniczne, konwencje inżynieryjne i procedury operacyjne są dokumentowane, a model operacyjny rozwiązań Big Data dla przedsiębiorstw jest definiowany wspólnie z zespołem, który będzie utrzymywał środowisko po jego dostarczeniu.
Platforma Big Data staje się istotna, gdy wolumen danych, opóźnienia w przetwarzaniu, wymagania dotyczące retencji, zróżnicowanie obciążeń lub wymagania produktowe sprawiają, że konwencjonalna architektura pojedynczej bazy danych staje się coraz trudniejsza w obsłudze. Solbeg ocenia te ograniczenia, zanim określi, czy infrastruktura rozproszona jest potrzebna i gdzie powinna zostać zastosowana.
Procesy cenowe, alokacji, wykrywania oszustw, monitorowania, routingu i inne procesy mogą wymagać danych w ciągu kilku minut, a nie po kolejnym cyklu przetwarzania wsadowego. W takich przypadkach wybrane przepływy danych mogą zostać przesunięte w kierunku przetwarzania sterowanego zdarzeniami lub strumieniowego, podczas gdy obciążenia niewymagające niskich opóźnień mogą pozostać oparte na przetwarzaniu wsadowym.
Klaster lokalny lub zarządzany samodzielnie może działać na starzejącym się sprzęcie, nieobsługiwanych wersjach oprogramowania lub modelu operacyjnym, którego utrzymanie stało się kosztowne. Migracja musi zatem uwzględniać obciążenia, zależności i procesy biznesowe, które już korzystają ze środowiska, zamiast koncentrować się wyłącznie na technologii docelowej.
Urządzenia, pojazdy, czujniki, aplikacje lub produkty połączone mogą generować więcej danych o zdarzeniach, niż system transakcyjny powinien przechowywać lub przetwarzać. Oddzielna ścieżka pobierania i przechowywania danych pozwala zachować wartość analityczną bez konieczności obciążania operacyjnej bazy danych obciążeniami, do których nie została zaprojektowana.
Wymagania regulacyjne, umowne, audytowe lub analityczne mogą wymagać długoterminowego przechowywania danych, podczas gdy użytkownicy nadal potrzebują praktycznego dostępu do danych historycznych. Zrównoważenie kosztów przechowywania danych z możliwością tworzenia zapytań staje się wyzwaniem architektonicznym i częstym powodem angażowania firmy świadczącej usługi Big Data.
Model może działać dobrze na podstawie ręcznie przygotowanych ekstraktów, mimo że nie istnieją jeszcze procesy produkcyjne niezbędne do trenowania, ponownego obliczania danych historycznych, generowania cech lub wnioskowania. Zbudowanie powtarzalnego źródła danych staje się warunkiem koniecznym do przeniesienia obciążenia uczenia maszynowego poza fazę eksperymentalną.
Produkt programowy może wymagać obsługi pulpitów nawigacyjnych, raportów lub funkcji analitycznych w dużych, wielodostępnych zbiorach danych. W przeciwieństwie do wewnętrznego BI, obciążenia te są częścią środowiska produktu i muszą uwzględniać czas reakcji, współbieżność, izolację dzierżawców oraz przewidywalne działanie w zależności od zapotrzebowania generowanego przez użytkowników.
Eksperyment może już wykazywać wartość, mimo braku koordynacji, monitorowania, kontroli dostępu, zarządzania kosztami, automatyzacji wdrażania lub udokumentowanych operacji. Kolejnym etapem jest zachowanie użytecznej logiki przy jednoczesnym dodaniu inżynierii niezbędnej do użytkowania produkcyjnego.
Skład zespołu zależy od zakresu, istniejącej platformy, rodzajów obciążeń oraz obowiązków wewnętrznego zespołu klienta. Usługi Solbeg w zakresie rozwoju dużych zbiorów danych mogą obejmować architekturę, inżynierię wsadową i strumieniową, obsługę platformy, analitykę, inżynierię aplikacji, zapewnienie jakości (QA) oraz koordynację dostaw.
Architektura dużych danych
Definicja architektury pamięci masowej, silników przetwarzania, partycjonowania oraz formatów plików lub tabel, wzorców pobierania, topologii środowiska oraz integracji z istniejącymi systemami. Architektura ustanawia również standardy inżynieryjne dla potoków i komponentów platformy.
Inżynieria danych wsadowych
Wdrażanie i optymalizacja rozproszonych obciążeń transformacyjnych, w tym przetwarzanie przyrostowe, uzupełnianie braków, zarządzanie zależnościami, ewolucja schematu oraz dostrajanie pod kątem czasu wykonania, wykorzystania zasobów i kosztów infrastruktury.
Inżynieria danych strumieniowych
Pobieranie zdarzeń i ciągłe przetwarzanie, w tym semantyka dostarczania, zdarzenia opóźnione i zdarzenia w nieprawidłowej kolejności, okna, zarządzanie stanem, odtwarzanie oraz interakcja między strumieniowymi potokami danych a utrwalonymi zestawami danych.
Inżynieria platformy danych i infrastruktury
Zarządzanie środowiskiem, automatyzacja wdrażania, ciągła integracja/ciągłe wdrażanie obciążeń danych, konfiguracja klastra i obliczeń (w stosownych przypadkach), monitorowanie, powiadamianie, tworzenie kopii zapasowych, kontrola bezpieczeństwa i wgląd w wykorzystanie zasobów obciążeń.
Inżynieria analityczna
Transformacja przetworzonych danych w udokumentowane, przetestowane, wielokrotnego użytku modele biznesowe ze spójnymi definicjami metryk i wymiarów wykorzystywanych przez narzędzia BI, raportowanie i dalszych odbiorców.
Inżynieria aplikacji
Rozwój interfejsów API dla dużych zbiorów danych, komponentów produktów zorientowanych na dane, integracji i narzędzi wewnętrznych. W przypadku zespołów porównujących firmę zajmującą się tworzeniem oprogramowania big data z dostawcą rozwiązań czysto analitycznych, szersze możliwości inżynierii oprogramowania Solbeg pozwalają na rozszerzenie zakresu platformy na aplikacje, które wykorzystują i udostępniają uzyskane dane.
Jakość danych i zapewnienie jakości
Walidacja logiki transformacji względem systemów źródłowych, uzgadnianie i sprawdzanie wolumenu, testowanie zachowania w przypadku awarii i ponownego uruchomienia oraz weryfikacja, czy monitorowanie i powiadamianie działają zgodnie z ustalonymi wymaganiami.
Koordynacja dostaw
Zarządzanie zakresem, zaległościami, zależnościami technicznymi, kolejnością wydań, komunikacją z interesariuszami oraz interfejsem roboczym między specjalistami Solbeg a zespołami inżynieryjnymi i biznesowymi klienta.
Solbeg potrafi łączyć architekturę, inżynieria danych i analityka, operacje platformy, zapewnienie jakości i rozwój aplikacji w ramach jednego projektu. Dzięki temu platforma danych, jej potoki danych i oprogramowanie przetwarzające dane pozostają w tym samym kontekście inżynieryjnym.
Jedno zaangażowanie może obejmować cały łańcuch dostarczania danych
Pobieranie, transformacja, modelowanie, jakość danych, inżynieria platformy oraz aplikacje wykorzystujące uzyskane dane mogą być koordynowane w ramach tego samego zakresu dostaw. Zmniejsza to konieczność przekazywania zadań między zespołami odpowiedzialnymi za różne warstwy platformy.
Platforma i inżynieria oprogramowania są dostępne w ramach tej samej firmy
Programy wykorzystujące duże zbiory danych często wymagają pracy z aplikacjami równolegle z procesami, w tym interfejsami API, integracjami, analityką dla użytkowników i narzędziami wewnętrznymi. Dla zespołów poszukujących firmy zajmującej się rozwojem dużych zbiorów danych i szerszymi możliwościami inżynierii oprogramowania, Solbeg może zapewnić wsparcie zarówno dla platformy, jak i oprogramowania zbudowanego na niej w ramach jednego projektu.
Pracę można rozpocząć w środowisku, które już posiadasz
Istniejącą platformę można ocenić, ustabilizować, zoptymalizować lub rozbudować przed rozważeniem jej całkowitej przebudowy. Pozwala to na stopniowe wprowadzanie ulepszeń, przy jednoczesnym zachowaniu dotychczasowych procesów raportowania i biznesowych.
Koszt i skalowalność są brane pod uwagę razem
Układ pamięci masowej, strategia przetwarzania, retencja, sposób obsługi zapytań oraz wybór infrastruktury wpływają zarówno na wydajność, jak i koszty operacyjne. Łączna ocena tych czynników pozwala uniknąć architektur, które spełniają cele wydajnościowe, ale generują niemożliwy do utrzymania profil kosztów wraz ze wzrostem wolumenu danych.
Zaangażowanie może zakończyć się przekazaniem lub być kontynuowane
Pipelines, modele, zależności, decyzje architektoniczne i procedury operacyjne mogą być dokumentowane, dzięki czemu wewnętrzny zespół klienta może przejąć odpowiedzialność. Jeśli wymagane jest stałe wsparcie, Solbeg może kontynuować rozwój lub obsługę platformy w ramach uzgodnionego modelu współpracy. Jest to jedna z praktycznych różnic między firmą konsultingową zajmującą się big data, koncentrującą się wyłącznie na architekturze, a partnerem wdrożeniowym, który może nadal angażować się w rozwiązania big data w środowisku produkcyjnym.
Jedną z decyzji architektonicznych jest określenie, jaka część platformy bazowej powinna być obsługiwana przez dostawcę chmury, a jaka część odpowiedzialności powinna pozostać w gestii zespołu klienta lub partnera dostarczającego. Wybór zależy od wydajności operacyjnej, profilu obciążenia, struktury kosztów, wymagań dotyczących danych oraz wymaganego poziomu kontroli nad środowiskiem wykonawczym.
Solbeg opracowuje strukturę konsultacji w zakresie dużych zbiorów danych, uwzględniając istniejące środowisko, priorytetowe obciążenia i zakres uzgodniony na początku, przy czym szczegółowość i kolejność prac są dostosowane do aktualnego stanu platformy.
Ocena obciążenia pracą
Analizujemy źródła danych, aktualne i przewidywane wolumeny, czasy przetwarzania, historię awarii, wzorce zapytań, dostępne informacje o kosztach, wymagania bezpieczeństwa i inne znane ograniczenia. Inżynierowie Solbeg współpracują z odpowiednimi właścicielami danych i platform, aby ustalić stan aktualny i zidentyfikować główne wąskie gardła.
Definicja architektury i zakresu
Docelowa architektura, podejście do przetwarzania, strategia przechowywania danych, model retencji i kolejność dostarczania są definiowane na podstawie ustaleń z oceny. Jasno określono priorytety, kryteria akceptacji, zależności, skład zespołu oraz kompromisy między kosztami, opóźnieniami, skalowalnością i nakładem pracy operacyjnej.
Walidacja na reprezentatywnych obciążeniach
W stosownych przypadkach, proponowany projekt jest testowany z wykorzystaniem reprezentatywnych wolumenów danych i priorytetowych obciążeń przed szerszą implementacją. Pozwala to na uzyskanie dowodów na wydajność, skalowalność i założenia dotyczące kosztów, przy jednoczesnym zachowaniu możliwości dostosowania głównych decyzji architektonicznych.
Przyrostowa implementacja
Potoki, warstwy pamięci masowej, modele, automatyzacja platformy, monitorowanie, testowanie i dokumentacja są wprowadzane etapami roboczymi. Istniejące procesy mogą pozostać operacyjne, podczas gdy nowe komponenty są walidowane i wdrażane.
Migracja i przejście
Obciążenia są przenoszone na nową platformę w określonej kolejności. W przypadku krytycznych dla firmy wyników, migracja może obejmować równoległe uruchamianie, uzgadnianie i uzgodnione warunki wycofania przed wycofaniem poprzedniej implementacji.
Przekazanie lub kontynuacja działalności
Decyzje dotyczące architektury, potoki, zależności, podręczniki, monitorowanie, obowiązki wsparcia i procedury operacyjne są udokumentowane dla zespołu, który będzie właścicielem platformy. Solbeg może przenieść odpowiedzialność na inżynierów klienta lub kontynuować rozwój i eksploatację platformy w ramach oddzielnie uzgodnionego modelu.
Kilka przykładów produktów cyfrowych, które stworzyliśmy dla naszych klientów i wyniki, jakie przyniosły ich firmom.

Sprzedaż detaliczna/Web Development
Narzędzie internetowe 3D do projektowania pomieszczeń i doboru mebli
Zobacz projekt
Tworzenie oprogramowania/Telekomunikacja/Web Development
Platforma mobilna i internetowa do obsługi pojazdów i zarządzania ich własnością
Zobacz projekt
Finanse i bankowość/Tworzenie oprogramowania
Platforma SaaS do bezpiecznej dystrybucji poufnych dokumentów
Zobacz projektNiekoniecznie. Należy najpierw ocenić istniejące środowisko, aby ustalić, czy jego ograniczenia wynikają z architektury i projektu obciążeń, czy też z rzeczywistych ograniczeń pojemnościowych. Ograniczenia takie jak słabe partycjonowanie, powtarzające się pełne przetwarzanie, nieefektywne formaty pamięci masowej lub nieodpowiednie wzorce zapytań można rozwiązać bez konieczności wymiany platformy. Większa zmiana architektury staje się bardziej istotna, gdy wymagana objętość, opóźnienie, współbieżność, retencja lub struktura obciążeń nie mogą być w rozsądny sposób obsługiwane przez obecną konstrukcję.
Tak, prace można rozpocząć w istniejącym środowisku chmurowym lub infrastrukturalnym klienta. Zmiana dostawcy to odrębna decyzja architektoniczna i biznesowa, która wiąże się z kosztami, nakładem pracy związanym z migracją i ryzykiem operacyjnym. Jeśli wymagania nie mogą zostać spełnione w obecnym środowisku, ograniczenie i dostępne alternatywy można ocenić jawnie, zamiast zakładać konieczność migracji.
Modelowanie kosztów staje się łatwiejsze po zrozumieniu częstotliwości obciążenia, wolumenów danych, wzorców zapytań, zasad retencji, poziomów pamięci masowej i wyboru infrastruktury. Ocena pozwala zidentyfikować główne czynniki kosztotwórcze i ustalić punkt odniesienia, z którym można porównać alternatywne architektury, ale rzeczywiste wydatki nadal będą zależeć od ewolucji obciążeń w czasie.
Zależy to przede wszystkim od tego, jak szybko dane muszą wpłynąć na decyzję lub proces. Jeśli kilkugodzinne opóźnienie nie ma wpływu na wynik, przetwarzanie wsadowe może być prostsze do wdrożenia i obsługi. Strumieniowanie jest zazwyczaj wprowadzane w przypadku przepływów, w których mniejsze opóźnienie wpływa na zachowanie firmy lub produktu, a nie jest stosowane automatycznie do całej platformy.
Istniejące raporty mogą być kontynuowane, podczas gdy odpowiadające im obciążenia są migrowane stopniowo. W przypadku ważnych zestawów danych i raportów, wyniki można porównywać i uzgadniać, zanim nowa implementacja stanie się głównym źródłem. Dzięki temu przełączenie może odbywać się obciążenie po obciążeniu, a nie za pośrednictwem jednego przełącznika na całej platformie.
Tak. Dokumentacja, decyzje architektoniczne, podręczniki, monitorowanie i standardy inżynieryjne mogą być tworzone w trakcie realizacji, a inżynierowie klienta mogą uczestniczyć w całym procesie wdrażania i przekazania. W zależności od uzgodnionego modelu współpracy, obsługa platformy i bieżące wsparcie mogą zostać przeniesione na zespół klienta lub pozostać w Solbeg po zakończeniu projektu początkowego.
Należy wziąć pod uwagę zakres odpowiedzialności wykraczający poza docelową architekturę. Porównując firmy konsultingowe z zakresu big data, warto zadać sobie pytania dotyczące sposobu oceny obciążeń przed przeprojektowaniem, sposobu obsługi migracji i wycofywania oprogramowania, tego, kto odpowiada za operacje produkcyjne po uruchomieniu oraz tego, czy ten sam zespół może obsługiwać zarówno inżynierię danych, jak i warstwę aplikacji na platformie. Oceniając firmy świadczące usługi big data, warto również wyjaśnić, które obowiązki są realizowane bezpośrednio, a które zależą od oddzielnych dostawców.
Kompleksowe usługi tworzenia, wprowadzania na rynek i rozwijania Twojego produktu cyfrowego.
Używamy pliki cookies w celu optymalizacji witryny i zwiększenia komfortu jej użytkowania.
zgadzam się