Usługi rozwoju oprogramowania Big Data


Wyzwania klientów

Wyzwania pojawiające się, gdy ilość danych przekracza możliwości obecnej platformy

Firmy zazwyczaj zaczynają rozważać usługi konsultingowe w zakresie Big Data, gdy istniejąca platforma nadal działa, ale staje się trudna do przewidywalnego skalowania. Problemy często mają charakter operacyjny, a nie czysto analityczny i mogą wpływać na okna przetwarzania, koszty infrastruktury, dostęp do danych historycznych oraz nakład pracy wymagany do dodania nowych źródeł danych.


Przegląd usług

Inżynieria platformy dla obciążeń danych o dużej objętości i wysokiej częstotliwości

Usługi Solbeg w zakresie big data obejmują projektowanie, wdrażanie i obsługę platform przeznaczonych do przetwarzania dużych wolumenów, przetwarzania z wysoką częstotliwością oraz obsługi mieszanych formatów danych. Prace można rozpocząć w istniejącym środowisku, które zbliża się do granic swoich możliwości, lub od nowej platformy zaprojektowanej od podstaw z myślą o przetwarzaniu rozproszonym.

Architektura platformy

Definicja układu pamięci masowej, architektury przetwarzania, strategii partycjonowania, formatów plików lub tabel, warstw obsługi i topologii środowiska na podstawie objętości danych, wymagań dotyczących opóźnień, wzorców zapytań, ograniczeń kosztów i możliwości operacyjnych dostępnych po stronie klienta.

Połknięcie na dużą skalę

Pobieranie wsadowe i strumieniowe danych dotyczących zdarzeń, dzienników aplikacji, danych telemetrycznych urządzeń, wyciągów transakcyjnych i zewnętrznych źródeł danych, w tym ewolucja schematu, odtwarzanie, walidacja i odzyskiwanie po nieudanym przetwarzaniu.

Przetwarzanie rozproszone

Wdrażanie i optymalizacja obciążeń transformacyjnych działających w rozproszonych środowiskach obliczeniowych, w tym przetwarzanie przyrostowe, alokacja zasobów, uzupełnianie, dostrajanie wykonywania i obsługa dużych połączeń lub innych operacji intensywnie wykorzystujących zasoby.

Kontrola magazynowania i kosztów

Zasady przechowywania, warstwowanie pamięci masowej, kompaktowanie, partycjonowanie i optymalizacja zapytań mają na celu zapewnienie dostępności danych historycznych bez konieczności traktowania każdego zestawu danych tak, jakby wymagał takich samych parametrów wydajności i pamięci masowej.

Dostarczanie rozwiązań analitycznych i uczenia maszynowego

Przygotowanie kontrolowanych zestawów danych, wielokrotnego użytku modeli biznesowych, danych wejściowych funkcji i warstw obsługi, tak aby narzędzia BI, zespoły zajmujące się nauką o danych i aplikacje podrzędne mogły pracować w oparciu o spójne definicje zamiast utrzymywać oddzielne prywatne ekstrakty.

Inżynieria platform i integracja aplikacji

Usługi rozwoju oprogramowania Big Data mogą obejmować oprogramowanie otaczające platformę, takie jak interfejsy API dla dużych zbiorów danych, komponenty aplikacji zorientowane na dane, narzędzia wewnętrzne oraz integrację z istniejącymi produktami. Komponenty te są dostarczane jako część szerszych rozwiązań Big Data, a nie jako oddzielne skrypty.


Rozwiązanie problemu

Problem

W dużej skali zmienia się ilość danych, co sprawia, że ​​decyzje inżynieryjne stają się krytyczne

Przy umiarkowanych wolumenach danych, nieefektywne łączenia, słabe partycjonowanie lub niepotrzebne pełne ponowne przetwarzanie mogą początkowo wydawać się ograniczeniami wydajnościowymi, które można rozwiązać poprzez dodanie zasobów. W większej skali te same decyzje projektowe mogą decydować o tym, czy obciążenie zakończy się w wymaganym przedziale czasowym przetwarzania i czy koszty infrastruktury pozostaną na zrównoważonym poziomie.

Ograniczenia te często stają się widoczne, gdy obecne środowisko jest nadal aktywnie użytkowane. Zwiększenie mocy obliczeniowej lub pamięci masowej może zapewnić dodatkową przepustowość, ale jeśli ograniczenie wynika z projektu przetwarzania, strategii partycjonowania, układu danych lub wielokrotnych pełnych skanów, samo zwiększenie zasobów może nie rozwiązać problemu.

Przetwarzanie rozproszone wprowadza również wymagania operacyjne, które nie pojawiają się w ten sam sposób w mniejszych systemach. Zadania mogą kończyć się częściowym niepowodzeniem, dane mogą docierać z opóźnieniem lub w nieodpowiedniej kolejności, schematy mogą ulegać zmianom, a ponowne uruchomienia muszą unikać duplikowania lub uszkadzania wyników. Zachowania te należy uwzględnić w projekcie platformy, a nie dodawać dopiero po wystąpieniu awarii w środowisku produkcyjnym.

Obsługa platformy wymaga również doświadczenia w pracy z dużymi, rozproszonymi obciążeniami. Decyzje architektoniczne, które wydają się rozsądne w mniejszej skali, mogą ujawnić ograniczenia wydajności, niezawodności lub kosztów dopiero po zwiększeniu wolumenu danych i współbieżności obciążeń.

Podejście Solbega

Decyzje dotyczące architektury opierają się na mierzonych obciążeniach

Zaczynamy od samych obciążeń: wolumenów danych, tempa wzrostu, czasu przetwarzania, wzorców zapytań, historii awarii, wykorzystania zasobów i dostępnych informacji o kosztach. Konsultacje w zakresie dużych zbiorów danych na tym etapie mają charakter diagnostyczny, pomagając odróżnić ograniczenia spowodowane niewystarczającą przepustowością od tych wynikających z architektury lub projektu obciążenia.

W przypadku, gdy istniejące środowisko jest skalowane głównie poprzez dodawanie zasobów, najpierw identyfikujemy obciążenia, które można ulepszyć poprzez zmiany, takie jak partycjonowanie, przetwarzanie przyrostowe, format pamięci masowej, układ danych lub konfiguracja wykonywania. Pozwala to na ustalenie bardziej realistycznego punktu odniesienia przed rozważeniem większej migracji lub przeprojektowania platformy.

Zachowanie operacyjne jest definiowane wraz z potokiem. Reguły ponawiania prób, bezpieczne ponowne uruchomienia, obsługa danych spóźnionych i nieuporządkowanych, ewolucja schematu, monitorowanie i alerty są określane zgodnie z rolą i krytycznością każdego obciążenia, dzięki czemu oczekiwane zachowanie jest jasne przed wystąpieniem incydentów.

Nasze usługi rozwoju Big Data mogą być również ustrukturyzowane tak, aby inżynierowie klienta nadal byli zaangażowani w rozwój platformy, a nie otrzymywali ją dopiero przy przekazaniu. Decyzje architektoniczne, konwencje inżynieryjne i procedury operacyjne są dokumentowane, a model operacyjny rozwiązań Big Data dla przedsiębiorstw jest definiowany wspólnie z zespołem, który będzie utrzymywał środowisko po jego dostarczeniu.


Kiedy ta usługa pasuje

Sytuacje, w których platforma Big Data może stać się właściwym wyborem inżynieryjnym

Platforma Big Data staje się istotna, gdy wolumen danych, opóźnienia w przetwarzaniu, wymagania dotyczące retencji, zróżnicowanie obciążeń lub wymagania produktowe sprawiają, że konwencjonalna architektura pojedynczej bazy danych staje się coraz trudniejsza w obsłudze. Solbeg ocenia te ograniczenia, zanim określi, czy infrastruktura rozproszona jest potrzebna i gdzie powinna zostać zastosowana.

Procesy cenowe, alokacji, wykrywania oszustw, monitorowania, routingu i inne procesy mogą wymagać danych w ciągu kilku minut, a nie po kolejnym cyklu przetwarzania wsadowego. W takich przypadkach wybrane przepływy danych mogą zostać przesunięte w kierunku przetwarzania sterowanego zdarzeniami lub strumieniowego, podczas gdy obciążenia niewymagające niskich opóźnień mogą pozostać oparte na przetwarzaniu wsadowym.

Klaster lokalny lub zarządzany samodzielnie może działać na starzejącym się sprzęcie, nieobsługiwanych wersjach oprogramowania lub modelu operacyjnym, którego utrzymanie stało się kosztowne. Migracja musi zatem uwzględniać obciążenia, zależności i procesy biznesowe, które już korzystają ze środowiska, zamiast koncentrować się wyłącznie na technologii docelowej.

Urządzenia, pojazdy, czujniki, aplikacje lub produkty połączone mogą generować więcej danych o zdarzeniach, niż system transakcyjny powinien przechowywać lub przetwarzać. Oddzielna ścieżka pobierania i przechowywania danych pozwala zachować wartość analityczną bez konieczności obciążania operacyjnej bazy danych obciążeniami, do których nie została zaprojektowana.

Wymagania regulacyjne, umowne, audytowe lub analityczne mogą wymagać długoterminowego przechowywania danych, podczas gdy użytkownicy nadal potrzebują praktycznego dostępu do danych historycznych. Zrównoważenie kosztów przechowywania danych z możliwością tworzenia zapytań staje się wyzwaniem architektonicznym i częstym powodem angażowania firmy świadczącej usługi Big Data.

Model może działać dobrze na podstawie ręcznie przygotowanych ekstraktów, mimo że nie istnieją jeszcze procesy produkcyjne niezbędne do trenowania, ponownego obliczania danych historycznych, generowania cech lub wnioskowania. Zbudowanie powtarzalnego źródła danych staje się warunkiem koniecznym do przeniesienia obciążenia uczenia maszynowego poza fazę eksperymentalną.

Produkt programowy może wymagać obsługi pulpitów nawigacyjnych, raportów lub funkcji analitycznych w dużych, wielodostępnych zbiorach danych. W przeciwieństwie do wewnętrznego BI, obciążenia te są częścią środowiska produktu i muszą uwzględniać czas reakcji, współbieżność, izolację dzierżawców oraz przewidywalne działanie w zależności od zapotrzebowania generowanego przez użytkowników.

Eksperyment może już wykazywać wartość, mimo braku koordynacji, monitorowania, kontroli dostępu, zarządzania kosztami, automatyzacji wdrażania lub udokumentowanych operacji. Kolejnym etapem jest zachowanie użytecznej logiki przy jednoczesnym dodaniu inżynierii niezbędnej do użytkowania produkcyjnego.


Zakres prac

Obowiązki związane z zaangażowaniem w Big Data

Skład zespołu zależy od zakresu, istniejącej platformy, rodzajów obciążeń oraz obowiązków wewnętrznego zespołu klienta. Usługi Solbeg w zakresie rozwoju dużych zbiorów danych mogą obejmować architekturę, inżynierię wsadową i strumieniową, obsługę platformy, analitykę, inżynierię aplikacji, zapewnienie jakości (QA) oraz koordynację dostaw.

Architektura dużych danych

Definicja architektury pamięci masowej, silników przetwarzania, partycjonowania oraz formatów plików lub tabel, wzorców pobierania, topologii środowiska oraz integracji z istniejącymi systemami. Architektura ustanawia również standardy inżynieryjne dla potoków i komponentów platformy.


Dlaczego Solbeg

Co firmy otrzymują od Solbeg w przypadku programów o dużej objętości danych

Solbeg potrafi łączyć architekturę, inżynieria danych i analityka, operacje platformy, zapewnienie jakości i rozwój aplikacji w ramach jednego projektu. Dzięki temu platforma danych, jej potoki danych i oprogramowanie przetwarzające dane pozostają w tym samym kontekście inżynieryjnym.

Jedno zaangażowanie może obejmować cały łańcuch dostarczania danych

Pobieranie, transformacja, modelowanie, jakość danych, inżynieria platformy oraz aplikacje wykorzystujące uzyskane dane mogą być koordynowane w ramach tego samego zakresu dostaw. Zmniejsza to konieczność przekazywania zadań między zespołami odpowiedzialnymi za różne warstwy platformy.


Porównanie

Zarządzane usługi w chmurze czy samodzielnie zarządzany stos dużych zbiorów danych

Jedną z decyzji architektonicznych jest określenie, jaka część platformy bazowej powinna być obsługiwana przez dostawcę chmury, a jaka część odpowiedzialności powinna pozostać w gestii zespołu klienta lub partnera dostarczającego. Wybór zależy od wydajności operacyjnej, profilu obciążenia, struktury kosztów, wymagań dotyczących danych oraz wymaganego poziomu kontroli nad środowiskiem wykonawczym.

Opcja A
  • Nadaje się dla zespołów, które chcą skupić wysiłki inżynieryjne na potokach, modelach danych i aplikacjach, a nie na obsłudze podstawowej rozproszonej infrastruktury
  • Można skrócić konfigurację infrastruktury, ponieważ dostawca zajmuje się dostarczaniem, łataniem, skalowaniem i niektórymi obowiązkami operacyjnymi
  • Cennik oparty na użytkowaniu może być skuteczny w przypadku zmiennych obciążeń, ale w przypadku przetwarzania ciągłego lub o dużej objętości należy go uważnie monitorować
  • Skalowanie jest na ogół łatwiejsze pod względem operacyjnym, chociaż projektowanie obciążenia pracą nadal ma bezpośredni wpływ na koszty
  • Dostępne wersje silnika, opcje konfiguracji, ograniczenia i funkcje usługi zależą od tego, co udostępnia dostawca
  • Korzystanie z zastrzeżonych usług zarządzanych może zwiększyć zależność od konkretnej platformy chmurowej i sprawić, że późniejsza przenośność stanie się bardziej złożona
  • Opcje przechowywania danych i zgodności zależą od dostępnych regionów, usług i odpowiednich certyfikatów dostawcy

Usługi zarządzane sprawdzają się w sytuacjach, gdy priorytetem jest ograniczenie nakładów pracy na platformie i szybkie osiągnięcie środowiska produkcyjnego, a nie maksymalna kontrola nad czasem wykonania.

Opcja B
  • Nadaje się dla organizacji z istniejącymi możliwościami operacyjnymi infrastruktury, określonymi wymaganiami dotyczącymi kontroli lub obciążeniami uzasadniającymi eksploatację dedykowanej pojemności
  • Koszty infrastruktury mogą stać się atrakcyjne w przypadku obciążeń o stałym obciążeniu, w zależności od wykorzystania, architektury i narzutu operacyjnego
  • Zapewnia większą kontrolę nad wersjami silnika, konfiguracją, dostrajaniem i czasem aktualizacji
  • Wymaga ciągłego zarządzania planowaniem pojemności, aktualizacjami, łataniem zabezpieczeń, reagowaniem na incydenty, monitorowaniem i innymi operacjami platformy
  • Skalowanie wymaga planowania i pracy operacyjnej, a nie polegania wyłącznie na zarządzanej usłudze
  • Początkowa konfiguracja i gotowość do produkcji mogą wymagać większego nakładu pracy inżynieryjnej
  • Zależy od zachowania umiejętności niezbędnych do niezawodnej obsługi infrastruktury przetwarzania rozproszonego

Platforma samoobsługowa sprawdza się, gdy kontrola, lokalizacja, charakterystyka obciążenia lub istniejące możliwości infrastruktury uzasadniają dodatkową odpowiedzialność operacyjną. Dla zespołów porównujących firmy konsultingowe zajmujące się dużymi zbiorami danych, możliwość oceny zarówno architektury docelowej, jak i wydajności operacyjnej niezbędnej do jej obsługi jest kluczowa.


Proces zaangażowania

Jak zaangażowanie w Big Data przechodzi od oceny do produkcji

Solbeg opracowuje strukturę konsultacji w zakresie dużych zbiorów danych, uwzględniając istniejące środowisko, priorytetowe obciążenia i zakres uzgodniony na początku, przy czym szczegółowość i kolejność prac są dostosowane do aktualnego stanu platformy.

  1. Ocena obciążenia pracą

    Analizujemy źródła danych, aktualne i przewidywane wolumeny, czasy przetwarzania, historię awarii, wzorce zapytań, dostępne informacje o kosztach, wymagania bezpieczeństwa i inne znane ograniczenia. Inżynierowie Solbeg współpracują z odpowiednimi właścicielami danych i platform, aby ustalić stan aktualny i zidentyfikować główne wąskie gardła.

  2. Definicja architektury i zakresu

    Docelowa architektura, podejście do przetwarzania, strategia przechowywania danych, model retencji i kolejność dostarczania są definiowane na podstawie ustaleń z oceny. Jasno określono priorytety, kryteria akceptacji, zależności, skład zespołu oraz kompromisy między kosztami, opóźnieniami, skalowalnością i nakładem pracy operacyjnej.

  3. Walidacja na reprezentatywnych obciążeniach

    W stosownych przypadkach, proponowany projekt jest testowany z wykorzystaniem reprezentatywnych wolumenów danych i priorytetowych obciążeń przed szerszą implementacją. Pozwala to na uzyskanie dowodów na wydajność, skalowalność i założenia dotyczące kosztów, przy jednoczesnym zachowaniu możliwości dostosowania głównych decyzji architektonicznych.

  4. Przyrostowa implementacja

    Potoki, warstwy pamięci masowej, modele, automatyzacja platformy, monitorowanie, testowanie i dokumentacja są wprowadzane etapami roboczymi. Istniejące procesy mogą pozostać operacyjne, podczas gdy nowe komponenty są walidowane i wdrażane.

  5. Migracja i przejście

    Obciążenia są przenoszone na nową platformę w określonej kolejności. W przypadku krytycznych dla firmy wyników, migracja może obejmować równoległe uruchamianie, uzgadnianie i uzgodnione warunki wycofania przed wycofaniem poprzedniej implementacji.

  6. Przekazanie lub kontynuacja działalności

    Decyzje dotyczące architektury, potoki, zależności, podręczniki, monitorowanie, obowiązki wsparcia i procedury operacyjne są udokumentowane dla zespołu, który będzie właścicielem platformy. Solbeg może przenieść odpowiedzialność na inżynierów klienta lub kontynuować rozwój i eksploatację platformy w ramach oddzielnie uzgodnionego modelu.


Zrealizowane projekty

Zobacz wszystkie projekty

Wybrane projekty, które zrealizowaliśmy

Kilka przykładów produktów cyfrowych, które stworzyliśmy dla naszych klientów i wyniki, jakie przyniosły ich firmom.

Internetowa platforma do projektowania wnętrz

Sprzedaż detaliczna/Web Development

Internetowa platforma do projektowania wnętrz

Narzędzie internetowe 3D do projektowania pomieszczeń i doboru mebli

Zobacz projekt
Telekomunikacja

Tworzenie oprogramowania/Telekomunikacja/Web Development

Optymalizacja platformy rozliczeń telekomunikacyjnych

Platforma mobilna i internetowa do obsługi pojazdów i zarządzania ich własnością

Zobacz projekt
Bezpieczna dystrybucja dokumentów DocEx

Finanse i bankowość/Tworzenie oprogramowania

Bezpieczna dystrybucja dokumentów DocEx

Platforma SaaS do bezpiecznej dystrybucji poufnych dokumentów

Zobacz projekt

FAQ

Pytania, które klienci zadają przed rozpoczęciem projektu Big Data

Niekoniecznie. Należy najpierw ocenić istniejące środowisko, aby ustalić, czy jego ograniczenia wynikają z architektury i projektu obciążeń, czy też z rzeczywistych ograniczeń pojemnościowych. Ograniczenia takie jak słabe partycjonowanie, powtarzające się pełne przetwarzanie, nieefektywne formaty pamięci masowej lub nieodpowiednie wzorce zapytań można rozwiązać bez konieczności wymiany platformy. Większa zmiana architektury staje się bardziej istotna, gdy wymagana objętość, opóźnienie, współbieżność, retencja lub struktura obciążeń nie mogą być w rozsądny sposób obsługiwane przez obecną konstrukcję.

Tak, prace można rozpocząć w istniejącym środowisku chmurowym lub infrastrukturalnym klienta. Zmiana dostawcy to odrębna decyzja architektoniczna i biznesowa, która wiąże się z kosztami, nakładem pracy związanym z migracją i ryzykiem operacyjnym. Jeśli wymagania nie mogą zostać spełnione w obecnym środowisku, ograniczenie i dostępne alternatywy można ocenić jawnie, zamiast zakładać konieczność migracji.

Modelowanie kosztów staje się łatwiejsze po zrozumieniu częstotliwości obciążenia, wolumenów danych, wzorców zapytań, zasad retencji, poziomów pamięci masowej i wyboru infrastruktury. Ocena pozwala zidentyfikować główne czynniki kosztotwórcze i ustalić punkt odniesienia, z którym można porównać alternatywne architektury, ale rzeczywiste wydatki nadal będą zależeć od ewolucji obciążeń w czasie.

Zależy to przede wszystkim od tego, jak szybko dane muszą wpłynąć na decyzję lub proces. Jeśli kilkugodzinne opóźnienie nie ma wpływu na wynik, przetwarzanie wsadowe może być prostsze do wdrożenia i obsługi. Strumieniowanie jest zazwyczaj wprowadzane w przypadku przepływów, w których mniejsze opóźnienie wpływa na zachowanie firmy lub produktu, a nie jest stosowane automatycznie do całej platformy.

Istniejące raporty mogą być kontynuowane, podczas gdy odpowiadające im obciążenia są migrowane stopniowo. W przypadku ważnych zestawów danych i raportów, wyniki można porównywać i uzgadniać, zanim nowa implementacja stanie się głównym źródłem. Dzięki temu przełączenie może odbywać się obciążenie po obciążeniu, a nie za pośrednictwem jednego przełącznika na całej platformie.

Tak. Dokumentacja, decyzje architektoniczne, podręczniki, monitorowanie i standardy inżynieryjne mogą być tworzone w trakcie realizacji, a inżynierowie klienta mogą uczestniczyć w całym procesie wdrażania i przekazania. W zależności od uzgodnionego modelu współpracy, obsługa platformy i bieżące wsparcie mogą zostać przeniesione na zespół klienta lub pozostać w Solbeg po zakończeniu projektu początkowego.

Należy wziąć pod uwagę zakres odpowiedzialności wykraczający poza docelową architekturę. Porównując firmy konsultingowe z zakresu big data, warto zadać sobie pytania dotyczące sposobu oceny obciążeń przed przeprojektowaniem, sposobu obsługi migracji i wycofywania oprogramowania, tego, kto odpowiada za operacje produkcyjne po uruchomieniu oraz tego, czy ten sam zespół może obsługiwać zarówno inżynierię danych, jak i warstwę aplikacji na platformie. Oceniając firmy świadczące usługi big data, warto również wyjaśnić, które obowiązki są realizowane bezpośrednio, a które zależą od oddzielnych dostawców.


Powiązane usługi

Możesz także potrzebować

Kompleksowe usługi tworzenia, wprowadzania na rynek i rozwijania Twojego produktu cyfrowego.

Używamy pliki cookies w celu optymalizacji witryny i zwiększenia komfortu jej użytkowania.

zgadzam się