Lokalny model działa blisko danych i systemów firmy.
Model może zostać uruchomiony na własnym serwerze lub w wydzielonym środowisku, a aplikacje firmowe komunikują się z nim przez określony interfejs. Dzięki temu można kontrolować, jakie dane trafiają do modelu, jak długo są przechowywane i gdzie zapisywany jest wynik.
Nie oznacza to jednak pełnej niezależności od infrastruktury. Trzeba zapewnić zasoby obliczeniowe, aktualizacje, monitoring i sposób bezpiecznego udostępnienia usługi aplikacjom.
Największą wartość daje AI włączone w konkretny proces.
Model nie powinien być wdrażany tylko dlatego, że organizacja chce „mieć AI”. Najpierw warto wskazać czynność wykonywaną często i ręcznie, a następnie sprawdzić, czy model poprawia jej jakość lub skraca czas pracy.
- podsumowanie notatek i historii klienta
- klasyfikacja wiadomości i zgłoszeń
- analiza dokumentów
- transkrypcja i podsumowanie nagrań
- wyszukiwanie informacji w dokumentacji
- przygotowanie danych lub propozycji odpowiedzi dla pracownika
Kontrola nad danymi jest zaletą, ale wymaga zaprojektowania zasad.
Lokalne środowisko może ograniczyć potrzebę przekazywania treści do zewnętrznych usług, ale nadal trzeba określić uprawnienia, logowanie operacji, przechowywanie wyników i sposób usuwania danych.
W integracjach z CRM warto dodatkowo ustalić, które rekordy i pola model może odczytywać oraz czy użytkownik powinien zatwierdzić wynik przed zapisaniem go do systemu.
Model lokalny nie zawsze będzie najlepszym modelem do każdego zadania.
Wymagania wobec modelu zależą od zadania. Inna jakość jest potrzebna do prostego podsumowania notatki, a inna do analizy dokumentu mającej wpływ na dalszy proces biznesowy.
Przed wdrożeniem warto przygotować przykładowy zestaw danych i porównać jakość odpowiedzi, czas działania oraz koszt utrzymania kilku wariantów.
Jakość
Czy model poprawnie wykonuje konkretną czynność na rzeczywistych danych?
Wydajność
Jak szybko powstaje odpowiedź przy oczekiwanej liczbie użytkowników?
Dane
Czy treść może opuścić infrastrukturę organizacji i w jakim zakresie?
Utrzymanie
Kto odpowiada za środowisko, aktualizacje, monitoring i kopie konfiguracji?
AI powinno zwracać wynik tam, gdzie użytkownik pracuje.
Jeżeli pracownik większość dnia spędza w CRM, wynik analizy powinien być dostępny przy kliencie, zgłoszeniu, dokumencie lub aktywności. Osobny interfejs do rozmowy z modelem często tworzy dodatkowy krok zamiast go usuwać.
Warstwą integrującą może być kod CRM, aplikacja mobilna lub platforma automatyzacji, np. n8n.