Artykuł
Lokalne modele językowe w finansach firmy — gdy dane nie mogą wyjść na zewnątrz
Księgi klientów biura rachunkowego, listy płac, umowy z kontrahentami — są dane, których nie wolno wkleić do chatu w chmurze, nawet gdyby model był najlepszy na świecie. Model uruchomiony na własnym komputerze rozwiązuje ten problem za cenę mocy i wygody. Poniżej: kiedy to wystarcza, ile kosztuje i jak to wygląda w trzech zastosowaniach, które zbudowałem.
Autor: Tomasz FordymackiOpublikowano:
Chmura czy własny serwer — porównanie
| Kryterium | Model lokalny (Ollama, 7–14 mld parametrów) | Model chmurowy (np. Claude) |
|---|---|---|
| Dane | nie opuszczają komputera — zero umów powierzenia, zero pytań od klienta | wychodzą do dostawcy; wymagana anonimizacja i umowa; część klientów odmówi |
| Jakość rozumowania | dobra przy zadaniach wąskich (klasyfikacja, ekstrakcja); słaba przy długich analizach | wyraźnie lepsza; radzi sobie z wielostronicowymi dokumentami i rozumowaniem |
| Koszt | sprzęt (komputer z dużą pamięcią albo karta graficzna: kilka–kilkanaście tys. zł raz) + prąd | od kilkudziesięciu zł miesięcznie przy małej skali; rośnie z liczbą dokumentów |
| Szybkość | kilka–kilkanaście sekund na dokument na zwykłym komputerze; na GPU sekundy | sekundy, niezależnie od sprzętu |
| Utrzymanie | aktualizacje modelu i Ollamy po Twojej stronie; działa bez internetu | zero utrzymania; zależność od dostawcy i jego cennika |
| Kiedy wybieram | biuro rachunkowe, listy płac, dane wielu klientów, klient z polityką „nic na zewnątrz” | analizy, raporty, tłumaczenia, dane po anonimizacji, moje własne narzędzia |
Trzy zastosowania, które działają lokalnie
- 1Klasyfikacja opisów księgowań w kontrolerze ksiągEksport z programu księgowego zawiera opisy typu „FV 12/03 usł. transp. + pal.” — reguła nie wie, czy to transport, czy opakowania. Lokalny model dostaje opis i listę pozycji zarządczych, zwraca propozycję z pewnością; poniżej progu trafia do księgowej. Dane czternastu spółek biura nie opuszczają jego serwera, a księgowa zatwierdza kilkanaście przypadków dziennie zamiast czytać kilkaset.
- 2Słownik pojęć z wyszukiwaniem semantycznym (RAG)Baza 176 haseł finansowych, z której powstał FinGloss, działa na lokalnym modelu do osadzeń (embeddingów) i lokalnym modelu do odpowiedzi: pytanie „czym różni się dług netto od zobowiązań” trafia do najbliższych haseł, a odpowiedź podaje źródło. Model nie zmyśla, bo odpowiada tylko z tego, co znalazł — to jest cała różnica między RAG a „zapytaj chat”.
- 3Wyciąganie pól z umów i fakturStrony, kwoty, terminy płatności, okres wypowiedzenia — z PDF-a do tabeli, z kontrolą próbki przez człowieka. Przy analizie przed transakcją to lista umów istotnych w godzinę zamiast w dwa dni; dane spółki-celu zostają na komputerze, co ma znaczenie, gdy podpisano NDA.
Czego lokalny model nie zrobi dobrze
- Nie napisze komentarza do wyniku, który dałoby się wysłać zarządowi bez przepisania — zdania są poprawne, ale płaskie i bywają błędne w szczegółach.
- Nie przeczyta stustronicowej umowy naraz — okno kontekstu małych modeli jest za krótkie; trzeba dzielić na fragmenty, co psuje odpowiedzi o całości.
- Nie liczy — jak żaden model językowy. Arytmetyka w kodzie, z testem, zawsze.
- Nie zastąpi anonimizacji tam, gdzie dane i tak muszą trafić do kogoś trzeciego (audytor, bank) — lokalność chroni tylko ten jeden etap.
Najczęstsze pytania
Jaki sprzęt jest potrzebny?
Do modeli 7–8 mld parametrów wystarczy komputer z 16 GB pamięci — odpowiedź na krótkie zadanie trwa kilka sekund. Model 14 mld chce 32 GB; karta graficzna (od około 12 GB pamięci własnej) przyspiesza wszystko kilkukrotnie. Serwer biura z 64 GB obsłuży kolejkę zadań dla kilkunastu spółek nocą.
Czy lokalny model jest zgodny z RODO „z automatu”?
Rozwiązuje jeden problem — brak przekazania danych do podmiotu trzeciego. Nie rozwiązuje pozostałych: podstawy przetwarzania, retencji, dostępu, kopii zapasowych, logów z treścią. Architektura z bramą i strefami obowiązuje tak samo; lokalność po prostu zdejmuje z listy umowę powierzenia z dostawcą modelu.
Które modele?
Zmienia się to co kilka miesięcy, więc nie przywiązuję się do nazw. Zasada: do klasyfikacji i ekstrakcji — najmniejszy model, który przechodzi test na Twoich stu przykładach; do osadzeń — model wielojęzyczny, bo polskie opisy księgowań w modelu angielskim wypadają gorzej. Test na własnych danych jest ważniejszy niż ranking w internecie.
Porozmawiajmy o Twojej sytuacji
Napisz kilka zdań o firmie i problemie. Odpowiadam w ciągu dwóch dni roboczych, a pierwsza rozmowa nic nie kosztuje.
Napisz do mnie