AI i uczenie maszynowe
Punkty bólowe
Z czym przychodzą do nas klienci
Firmy zwracające się do agencji zajmującej się rozwojem sztucznej inteligencji (AI) często stają w obliczu jednej lub kilku z poniższych sytuacji.
Model może dobrze działać w wybranym zestawie danych lub w środowisku eksperymentalnym, ale napotyka trudności, gdy musi przetwarzać dane na żywo, obsługiwać współbieżne żądania, integrować się z aplikacją produkcyjną i zachować możliwość konserwacji w miarę upływu czasu.
Rekordy mogą być rozproszone w wielu systemach i przechowywane w różnych formatach, przy czym etykiety są niespójne lub ich brakuje, a wiarygodność danych historycznych jest niepewna. Przed rozpoczęciem opracowywania modelu należy ocenić dostępne dane pod kątem jakości, kompletności, trafności i przydatności do danego zadania.
Może istnieć wewnętrzna presja na wprowadzenie funkcjonalności AI bez porozumienia co do tego, który proces należy ulepszyć, jaki poziom błędu jest akceptowalny lub jak wydajność modelu będzie porównywana z obecnym procesem. Bez mierzalnych kryteriów sukcesu, nawet technicznie dobre wyniki mogą być trudne do oceny z perspektywy biznesowej.
Model ogólnego przeznaczenia może generować wiarygodne odpowiedzi, mimo braku wewnętrznej terminologii, struktur dokumentów, reguł biznesowych lub kontekstu specyficznego dla danej dziedziny. Powtarzające się niedokładne lub słabo uzasadnione odpowiedzi mogą osłabić zaufanie użytkowników do systemu.
Po wdrożeniu modelu może on wymagać monitorowania, wersjonowania zbiorów danych i modeli, oceny, zarządzania infrastrukturą oraz aktualizacji w miarę zmian danych wejściowych lub warunków biznesowych. Bez jasnego określenia właściciela, jakość modelu, niezawodność operacyjna i koszty wnioskowania mogą stopniowo się pogarszać.
Wymagania dotyczące bezpieczeństwa, poufności, miejsca przechowywania lub przepisów mogą ograniczać, które dane mogą opuszczać środowisko organizacji i z których zewnętrznych dostawców można korzystać. Ograniczenia te mogą znacząco wpływać na wybór modelu, infrastrukturę, integrację i architekturę wdrożenia.
Przegląd usług
Pełny cykl rozwoju sztucznej inteligencji i uczenia maszynowego, od oceny wykonalności po długoterminowe wsparcie
Solbeg działa jako firma zajmująca się tworzeniem oprogramowania opartego na sztucznej inteligencji i zapewnia usługi doradztwa technologicznego, co oznacza, że funkcjonalność AI można określić w kontekście kodu aplikacji, potoków danych, integracji i infrastruktury niezbędnej do jej uruchomienia w środowisku produkcyjnym. Nasze usługi rozwoju oprogramowania AI obejmują cały proces – od oceny wykonalności do wdrożonej i monitorowanej funkcjonalności AI lub ML – a prace mogą rozpocząć się na różnych etapach, w tym w projektach, w których model lub prototyp już istnieje.
Problem i rozwiązanie
Problem
Inicjatywy związane ze sztuczną inteligencją (AI) mogą nie przynieść oczekiwanej wartości, jeśli są ukierunkowane na wybór technologii przed podjęciem docelowej decyzji biznesowej i zdefiniowaniem kryteriów sukcesu. Model lub narzędzie może zostać wybrane jako pierwsze, podczas gdy organizacja nadal nie ma ustalonego punktu odniesienia, mierzalnego progu jakości lub procesu decydującego o tym, czy wyniki AI są wystarczająco przydatne, aby podjąć działania.
Bez tych definicji trudno jest określić, czy system usprawnia istniejący proces, czy też po prostu wprowadza kolejny element techniczny.
Podejście Solbega
Określanie zakresu można rozpocząć od decyzji biznesowej lub przepływu pracy, który model ma obsługiwać: kto będzie korzystał z wyników, jakie typy błędów mają największe znaczenie, w jaki sposób te błędy wpływają na proces oraz jaki poziom jakości można by poprawić w porównaniu z obecnym poziomem bazowym.
Wymagania te wpływają na metodologię oceny, przygotowanie danych, architekturę, infrastrukturę i wybór modelu. Usługi rozwoju sztucznej inteligencji na zamówienie można następnie zaplanować w oparciu o architekturę, która spełnia wymagane ograniczenia jakościowe, wydajnościowe, bezpieczeństwa i operacyjne, bez wprowadzania zbędnej złożoności modelu lub infrastruktury.
Kiedy ta usługa pasuje
Lata danych transakcyjnych, operacyjnych, behawioralnych, sensorycznych lub dokumentacyjnych mogą już istnieć i nie być wykorzystywane do prognozowania, klasyfikacji ani automatyzacji. Projekt można rozpocząć od oceny, czy te dane nadają się do uczenia maszynowego oraz które przypadki użycia są realne pod względem technicznym i komercyjnym.
Aplikacja, która jest już w fazie produkcyjnej, może wymagać klasyfikacji, wyszukiwania, rekomendacji, zrozumienia dokumentów, podsumowania lub innych funkcji opartych na sztucznej inteligencji bez konieczności przebudowy systemu bazowego. Funkcjonalność sztucznej inteligencji (AI) często można zintegrować jako osobną usługę lub moduł połączony z istniejącym produktem.
Główny pomysł może już zostać zweryfikowany, ale pozostała praca obejmuje inżynierię produkcji: skalowalność wnioskowania, potoki, wymagania dotyczące opóźnień, bezpieczeństwo, kontrolę dostępu, zachowanie awaryjne, monitorowanie i integrację z istniejącym środowiskiem produktu.
Model, który dobrze spisywał się w momencie uruchomienia, może stać się mniej dokładny w miarę zmiany danych wejściowych, zachowań użytkowników lub warunków biznesowych. Monitorowanie, ewaluacja zestawów danych, wersjonowanie oraz ponowne trenowanie lub aktualizowanie przepływów pracy mogą pomóc w identyfikacji i reagowaniu na zmiany w jakości modelu.
Ocena techniczna może pomóc ustalić, czy dostępne dane i infrastruktura są w stanie obsłużyć zamierzony przypadek użycia przed sfinansowaniem pełnego projektu wdrożeniowego. Może to być praktyczny punkt wejścia do usług rozwoju uczenia maszynowego, gdy niepewność techniczna jest nadal wysoka.
Umowy, faktury, bilety, instrukcje, wiedza wewnętrzna i inne niestrukturyzowane informacje mogą wymagać wyodrębnienia, sklasyfikowania, podsumowania, przeszukania lub udzielenia odpowiedzi na pytania z podaniem źródła lub odnośników umożliwiających prześledzenie.
Plan rozwoju produktu może wymagać wiedzy z zakresu analizy danych, inżynierii uczenia maszynowego lub MLOps, której nie dysponujemy wewnętrznie. Firma zajmująca się rozwojem uczenia maszynowego może zapewnić specjalistyczne role dla określonego zakresu lub etapu projektu, podczas gdy klient zachowuje odpowiedzialność za szerszy plan rozwoju produktu.
Wymagania dotyczące poufności, miejsca zamieszkania lub bezpieczeństwa mogą ograniczać korzystanie z publicznych interfejsów API sztucznej inteligencji. W takich przypadkach usługi rozwoju sztucznej inteligencji można projektować w oparciu o modele wdrożenia w chmurze prywatnej, hostingu własnym lub wdrożeń lokalnych, jeśli jest to technicznie uzasadnione.
Zakres prac
Co obejmuje rozwój sztucznej inteligencji i uczenia maszynowego
W zależności od zakresu projektu, usługi rozwoju AI ML mogą obejmować następujące obszary i role.
Analiza biznesowa
Analiza biznesowa pomaga zdefiniować proces docelowy, użytkowników, kryteria akceptacji, ograniczenia operacyjne oraz punkt odniesienia, względem którego model będzie oceniany. Wymagania te stanowią podstawę do zdefiniowania mierzalnych kryteriów sukcesu.
Inżynieria danych
Inżynieria danych może obejmować procesy pobierania, czyszczenia, transformacji, przechowywania, etykietowania i wersjonowania zbiorów danych. Procesy te pomagają zwiększyć powtarzalność szkolenia i oceny oraz dostarczają spójnych danych wejściowych do wnioskowania produkcyjnego.
Nauka o danych i inżynieria uczenia maszynowego
Nauka o danych i inżynieria uczenia maszynowego mogą obejmować wybór modelu, szkolenie, eksperymentowanie, ocenę, szybkie opracowanie, dostrajanie i optymalizację modelu, w zależności od wybranego podejścia. Wyniki są dokumentowane w odniesieniu do metryk i metodologii oceny uzgodnionej dla projektu.
Inżynieria zaplecza
Inżynieria zaplecza może udostępniać modele za pośrednictwem usług wnioskowania i interfejsów API oraz obsługiwać uwierzytelnianie, kolejkowanie, buforowanie, przekroczenia limitu czasu, ponowne próby i logikę zapasową. Można również zdefiniować zachowanie integracji w sytuacjach, gdy model jest niedostępny lub jego dane wyjściowe nie spełniają uzgodnionego progu jakości.
Inżynieria front-end
Prace front-endowe mogą obejmować interfejsy prezentujące dane wyjściowe generowane przez sztuczną inteligencję, dowody pomocnicze, odniesienia do źródeł, procesy korekcji oraz opinie użytkowników. Można również uwzględnić wskaźniki pewności lub niepewności, jeśli mają one znaczenie techniczne i są odpowiednie dla modelu i procesu użytkownika.
DevOps i MLOps
Zakres może obejmować środowiska szkoleniowe i wdrożeniowe, infrastrukturę GPU lub zarządzaną infrastrukturę wnioskowania, ciągłą integrację/ciągłe wdrażanie komponentów aplikacji i modeli, monitorowanie, wersjonowanie modeli oraz śledzenie opóźnień, wykorzystania infrastruktury, kosztów wnioskowania oraz dryfu danych lub danych wejściowych.
Zapewnienie jakości i ocena modelu
Zapewnienie jakości może obejmować zarówno oprogramowanie modelu, jak i samo jego zachowanie. Ocena może obejmować wydzielone zestawy danych, testy regresji między wersjami modelu, przypadki brzegowe oraz scenariusze przeciwstawne lub stresowe, jeśli ma to znaczenie dla danej aplikacji.
Przegląd bezpieczeństwa i przetwarzania danych
Prace związane z bezpieczeństwem i przetwarzaniem danych mogą definiować, gdzie dane są przetwarzane, jakie informacje mogą być przesyłane do usług zewnętrznych, w jaki sposób poufne dane są maskowane lub anonimizowane, a także jakie reguły dostępu, przechowywania i retencji mają zastosowanie do monitów, osadzeń, zestawów danych i wyników modeli.
Dlaczego Solbeg
Dlaczego warto współpracować z Solbeg w zakresie rozwiązań z zakresu sztucznej inteligencji i uczenia maszynowego
Solbeg łączy wiedzę specjalistyczną z zakresu sztucznej inteligencji i uczenia maszynowego z inżynierią danych, rozwojem oprogramowania, MLOps, kontrolą jakości i możliwościami infrastrukturalnymi, aby wspierać inicjatywy związane ze sztuczną inteligencją, od oceny wykonalności, przez wdrożenie produkcyjne, po stały rozwój. Nasze zespoły mogą pracować z nowymi koncepcjami, istniejącymi prototypami i możliwościami sztucznej inteligencji, które wymagają integracji z rzeczywistymi produktami i procesami biznesowymi.
Podejście zorientowane na biznes do rozwoju sztucznej inteligencji
Zaczynamy od procesu biznesowego, decyzji docelowej, użytkowników i mierzalnych kryteriów sukcesu, zamiast najpierw wybierać model. Pomaga to dostosować ocenę modelu, przygotowanie danych, architekturę i infrastrukturę do oczekiwanych rezultatów biznesowych, które rozwiązanie ma wspierać.
Sztuczna inteligencja i inżynieria oprogramowania w ramach jednego projektu
Funkcjonalność sztucznej inteligencji (AI) często zależy od czegoś więcej niż tylko od samego modelu. Potoki danych, usługi zaplecza, interfejsy API, interfejsy użytkownika, integracje, infrastruktura i logika aplikacji – wszystkie te elementy można uwzględnić w ramach jednego projektu, co pomaga skrócić luki w koordynacji i przekazywaniu zadań między rozwojem modelu a oprogramowaniem niezbędnym do jego uruchomienia w środowisku produkcyjnym.
Możliwości produkcyjne i MLOps
Solbeg może wspierać wdrażanie, monitorowanie, wersjonowanie modeli i zbiorów danych, CI/CD, zarządzanie infrastrukturą oraz przepływy pracy aktualizacji lub ponownego trenowania modeli, tam gdzie jest to możliwe. Te możliwości pomagają systemom AI zachować obserwowalność, łatwość utrzymania i niezawodność w obliczu zmian danych, wzorców użytkowania i warunków biznesowych.
Elastyczny model i strategie wdrażania
Podejście technologiczne jest dobierane w zależności od przypadku użycia, wrażliwości danych, wymagań jakościowych, oczekiwanego wolumenu, ograniczeń infrastrukturalnych i długoterminowego modelu własności. Solbeg może współpracować z komercyjnymi interfejsami API modelu bazowego, samodzielnie hostowanymi modelami o otwartej strukturze, modelami trenowanymi w sposób niestandardowy lub architekturami łączącymi kilka podejść.
Integracja z istniejącymi produktami i systemami
Możliwości sztucznej inteligencji (AI) można wprowadzić do aplikacji już działających w środowisku produkcyjnym za pośrednictwem interfejsów API, usług wnioskowania, warstw wyszukiwania lub innych odpowiednich wzorców architektonicznych. Pozwala to organizacjom na dodawanie funkcji klasyfikacji, rekomendacji, wyszukiwania, przetwarzania dokumentów, asystentów i innych funkcji opartych na sztucznej inteligencji bez konieczności przebudowy podstawowego produktu.
Bezpieczeństwo i obsługa danych wbudowane w architekturę
Wymagania dotyczące bezpieczeństwa, poufności, przechowywania danych, kontroli dostępu i przetwarzania danych można uwzględnić już na wczesnych etapach projektowania. W zależności od projektu, architektura może wykorzystywać usługi chmury publicznej, środowiska chmury prywatnej, modele hostowane samodzielnie lub wdrożenie lokalne, jeśli jest to technicznie uzasadnione.
Długoterminowe wsparcie inżynieryjne w zakresie sztucznej inteligencji
Solbeg może kontynuować wsparcie systemów AI po premierze, poprzez monitorowanie, ewaluację, aktualizacje danych i modeli, optymalizację wydajności, zmiany w infrastrukturze oraz dalszy rozwój produktu. Skład zespołu i możliwości realizacji mogą ewoluować wraz z planem rozwoju produktu i dojrzałością możliwości AI.
Porównanie
Podejścia do rozwoju sztucznej inteligencji i uczenia maszynowego
Trzy szerokie podejścia do rozwoju uczenia maszynowego mogą obejmować wiele przypadków użycia biznesowego. Właściwy wybór zależy od rodzaju zadania, wrażliwości danych, oczekiwanego wolumenu, ograniczeń infrastrukturalnych, wymagań jakościowych i długoterminowego modelu własności.
Interfejsy API komercyjnego modelu fundamentowego
Przykłady zastosowań skoncentrowane na języku, takie jak podsumowywanie, ekstrakcja, klasyfikacja niestrukturyzowanego tekstu, asystenci, przetwarzanie dokumentów i szybka walidacja generatywnych koncepcji sztucznej inteligencji.
Modele o otwartej wadze, hostowane samodzielnie i dostosowane
Przetwarzanie języka specyficznego dla danej domeny, obciążenia ze ścisłymi wymaganiami dotyczącymi miejsca przechowywania danych lub infrastruktury oraz scenariusze, w których organizacje chcą mieć większą kontrolę nad wdrażaniem i wersjami modeli.
Dostosowane modele trenowane na podstawie Twoich danych
Prognozowanie tabelaryczne, prognozowanie popytu, prognozowanie finansowe, scoring, wykrywanie anomalii, komputerowe przetwarzanie obrazu i inne przypadki użycia, w których uniwersalny model językowy nie jest odpowiednim narzędziem.
Interfejsy API komercyjnego modelu fundamentowego
Przetwarzanie danych zależy od dostawcy, modelu wdrożenia, warunków umowy i dostępnych mechanizmów kontroli przedsiębiorstwa. Dostawca kontroluje również dostępność modelu, aktualizacje i harmonogramy wycofywania.
Modele o otwartej wadze, hostowane samodzielnie i dostosowane
Wdrożenie z własnym hostingiem wymaga infrastruktury i możliwości MLOps. Dostrajanie lub adaptacja mogą wymagać przykładów domenowych lub danych z etykietami, a jakość modelu różni się w zależności od zadania i rodziny modeli i powinna zostać zweryfikowana w odniesieniu do rzeczywistego przypadku użycia.
Dostosowane modele trenowane na podstawie Twoich danych
Modele niestandardowe mogą wymagać odpowiednich danych historycznych, wiarygodnych sygnałów docelowych, wiedzy specjalistycznej w danej dziedzinie i ciągłej oceny w miarę zmian w rozkładzie danych.
Interfejsy API komercyjnego modelu fundamentowego
Komercyjne interfejsy API mogą zapewnić szybką drogę do wdrożenia, przy niższym poziomie własności infrastruktury niż modele hostowane samodzielnie. Koszty użytkowania zazwyczaj rosną wraz z liczbą żądań lub tokenów, a opóźnienia i dostępność usług zależą częściowo od zewnętrznego dostawcy.
Modele o otwartej wadze, hostowane samodzielnie i dostosowane
Takie podejście może zapewnić większą kontrolę nad infrastrukturą, wersjami modeli, czasem wdrożenia i obsługą danych. Charakterystyka kosztów zależy od wykorzystania sprzętu, wolumenu żądań, rozmiaru modelu i wydajności operacyjnej.
Dostosowane modele trenowane na podstawie Twoich danych
W zależności od wybranej rodziny modeli, modele niestandardowe mogą zapewnić efektywne wnioskowanie i lepszą interpretowalność niektórych ustrukturyzowanych zadań predykcyjnych. Tworzenie niestandardowego oprogramowania AI w tej kategorii zazwyczaj wymaga znacznej inżynierii danych, ewaluacji i zarządzania cyklem życia modelu.
Systemy produkcyjne mogą również łączyć kilka podejść. Na przykład, model niestandardowy może wykonywać punktację, podczas gdy model podstawowy zapewnia interfejs języka naturalnego dla wyniku. Architektura jest dobierana w zależności od potrzeb każdego zadania, zamiast stosować jedną strategię modelową w całej organizacji.
Przetwarzanie
Jak podchodzimy do projektów związanych ze sztuczną inteligencją i uczeniem maszynowym
-
Odkrycie i przegląd wykonalności
Dokonujemy przeglądu docelowego procesu biznesowego, aktualnej sytuacji bazowej, dostępnych danych, infrastruktury, integracji, wymagań bezpieczeństwa i innych znanych ograniczeń. Ocena pozwala również zidentyfikować, które części problemu można lepiej rozwiązać za pomocą konwencjonalnego oprogramowania, usprawnień procesów lub inżynierii danych, a nie uczenia maszynowego.
-
Ocena danych i kryteria sukcesu
Dostępne dane są oceniane pod kątem objętości, jakości, reprezentatywności, oznakowania i przydatności do zadania docelowego. Wskaźniki sukcesu i kryteria akceptacji są definiowane wspólnie z interesariuszami, którzy będą korzystać z wyników modelu lub podejmować działania na ich podstawie. Kryteria te stanowią podstawę późniejszej oceny.
-
Zakres i konfiguracja zespołu
Wymagane role są definiowane zgodnie z zakresem projektu i wybierany jest początkowy kierunek architektury. Prace można podzielić na pierwszy mierzalny przyrost oraz kolejne etapy, uwzględniając priorytety biznesowe, ryzyka techniczne i zależności.
-
Prototyp i ocena
Wersję roboczą można zbudować, wykorzystując dane reprezentatywne lub istotne dla produkcji, i ocenić ją pod kątem uzgodnionych wskaźników. Analiza błędów pomaga zidentyfikować, gdzie podejście się sprawdza, a gdzie nie. Wyniki mogą pomóc w podjęciu decyzji, czy należy kontynuować, dostosować lub ponownie rozważyć podejście przed podjęciem większej inwestycji produkcyjnej.
-
Dostawa i przekazanie produkcji
Model lub funkcjonalność AI można wdrożyć w środowisku aplikacji docelowej i infrastruktury, zapewniając odpowiednie monitorowanie, rejestrowanie, wersjonowanie i kontrolę operacyjną. W razie potrzeby można wprowadzić procedury ponownego szkolenia lub aktualizacji modelu, a dokumentacja wspiera bieżącą konserwację i przyszłe przekazywanie.
FAQ
Najczęściej zadawane pytania dotyczące sztucznej inteligencji i uczenia maszynowego
Nie w każdym przypadku. Asystenci bazujący na wyszukiwaniu i niektóre zadania wykorzystujące modele wstępnie wytrenowane lub podstawowe mogą rozpocząć się bez dużego zbioru danych z etykietami. Nadzorowane modele niestandardowe zazwyczaj wymagają przykładów z etykietami lub innego niezawodnego sposobu generowania sygnałów docelowych. Wstępna ocena danych pomaga określić, które podejście jest odpowiednie i ile etykietowania lub przygotowania danych może być wymagane.
Jakość modelu powinna być definiowana za pomocą metryk związanych z decyzją biznesową lub przepływem pracy obsługiwanym przez model. W zależności od zadania, mogą to być precyzja, czułość, wskaźniki błędów, metryki rankingowe, błąd prognozowania lub inne miary specyficzne dla danej dziedziny. Zbiór danych ewaluacyjnych można oddzielić od danych treningowych, a wyniki można raportować w odniesieniu do tego zbioru. Publiczne testy porównawcze mogą być przydatne do wstępnego porównania, ale mogą nie odzwierciedlać dziedziny klienta, dystrybucji danych ani kompromisów operacyjnych.
Tak. Praktycznym pierwszym krokiem dla firmy zajmującej się rozwojem uczenia maszynowego, dołączającej do istniejącego projektu, jest odtworzenie i udokumentowanie aktualnego zachowania modelu na danych klienta przed wprowadzeniem istotnych zmian. Dalsze prace mogą obejmować przegląd lub przebudowę procesu szkoleniowego, udoskonalenie metodologii oceny, aktualizację przetwarzania danych oraz przygotowanie modelu do niezawodnego wdrożenia i monitorowania.
Niekoniecznie. Można rozważyć modele o otwartej architekturze hostowanej samodzielnie, środowiska chmury prywatnej oraz wdrożenia lokalne, gdy obowiązują wymagania dotyczące poufności, rezydencji lub bezpieczeństwa. Firma zajmująca się rozwojem sztucznej inteligencji może zaprojektować architekturę z uwzględnieniem tych ograniczeń, gdzie wymagany model, infrastruktura i parametry wydajnościowe wspierają takie podejście do wdrożenia.
Przydatne dane wejściowe obejmują opis procesu biznesowego, który chcesz ulepszyć, przykłady lub próbkę dostępnych danych, jeśli to możliwe, znane ograniczenia bezpieczeństwa lub infrastruktury oraz wszelkie aktualne dane bazowe dotyczące wydajności. Pomocne jest również określenie, kto jest wewnętrznie właścicielem danych i kto może zatwierdzić kryteria sukcesu modelu. Wczesne wyjaśnienie tych obowiązków może zmniejszyć opóźnienia we współpracy z firmą zajmującą się rozwojem sztucznej inteligencji.
Oba modele mogą wspierać długoterminowy rozwój produktu, w zależności od celów firmy, jej możliwości wewnętrznych i preferowanego modelu operacyjnego. Dedykowany zespół zewnętrzny może zapewnić długoterminową odpowiedzialność, ciągłość i dogłębną wiedzę o produkcie, oferując jednocześnie większą elastyczność w skalowaniu możliwości realizacji i pozyskiwaniu specjalistycznej wiedzy w miarę rozwoju potrzeb. Porównując firmy zajmujące się rozwojem uczenia maszynowego, należy wziąć pod uwagę sposób, w jaki definiują one kryteria oceny, zarządzają wersjami danych i modeli, dokumentują architekturę oraz przygotowują systemy do bieżącej konserwacji, transferu wiedzy i długoterminowego rozwoju.
Możliwy jest również model hybrydowy, w którym zewnętrzny zespół opracowuje lub wdraża rozwiązanie początkowe, a wewnętrzni inżynierowie stopniowo przejmują odpowiedzialność za bieżące operacje.
Często tak. Funkcjonalność sztucznej inteligencji (AI) można zintegrować za pośrednictwem oddzielnej usługi wnioskowania, interfejsu API lub innej architektury modułowej, w zależności od opóźnień, prywatności, infrastruktury i wymagań produktu. Pozwala to na ewolucję cyklu życia modelu niezależnie od części głównej aplikacji. Głębsza integracja może być odpowiednia, gdy wnioskowanie na urządzeniu, rygorystyczne wymagania dotyczące opóźnień lub inne ograniczenia architektoniczne uniemożliwiają zastosowanie oddzielnej usługi.