On-premise LLM modely: ako prevádzkovať AI bez internetu

On-premise LLM nasadenie zvažujú najmä firmy s citlivými dátami, reguláciou alebo vysokým objemom AI prevádzky. Dôvody sú jasné: NIS2, advokátske alebo bankové tajomstvo, obavy z US CLOUD Act, dátová suverenita a ekonomika pri veľkom objeme tokenov.

Tento článok je technický a ekonomický sprievodca: modely, hardware, softvérový stack, compliance a hranica, kedy vlastná infraštruktúra dáva zmysel.

1. Prečo on-premise LLM

Compliance a regulácia

Zdravotníctvo, financie, advokácia, kritická infraštruktúra a verejná správa často nemôžu posielať citlivé dáta do verejného cloudu bez dôkladnej právnej a bezpečnostnej architektúry.

Dátová suverenita

Ak model beží vo vlastnom dátovom centre alebo v kontrolovanom privátnom prostredí, firma má väčšiu kontrolu nad vstupmi, logmi, prístupmi a životným cyklom dát.

Ekonomika pri veľkom objeme

Pri miliónoch tokenov denne môže byť vlastný model lacnejší než API. Závisí to od využitia GPU, ceny elektriny, podpory a tímu.

Latencia

Model v rovnakom dátovom centre môže odpovedať rýchlejšie než vzdialené API, najmä pri interných aplikáciách s veľkým počtom krátkych dopytov.

Prispôsobenie

Self-hosted model sa dá lepšie doplniť o vlastné filtre, RAG, bezpečnostné vrstvy a doménové úpravy.

2. Open-source LLM modely

Llama

Silná voľba pre všeobecné enterprise použitie, veľká komunita a dobrá dostupnosť nástrojov.

Mistral

Zaujímavý pre európske firmy, často dobrý pomer výkonu, ceny a licenčných možností.

Qwen

Silný pri technických a multilingválnych úlohách, podľa konkrétnej verzie a veľkosti modelu.

DeepSeek

Vhodný pri scenároch, kde rozhoduje efektivita, kód alebo špecifické technické úlohy.

Phi

Menšie modely vhodné na úzke úlohy a lacnejšiu prevádzku, nie ako univerzálna náhrada veľkých modelov.

3. Hardware

Departmental tier

Menšie use case pre jeden tím. Jedna alebo dve GPU, menší model, obmedzený počet používateľov. Vhodné na pilot a interné nástroje.

Enterprise tier

Stredne veľká firma potrebuje redundantnejší server, väčšie GPU, monitoring, zálohovanie a jasnú podporu.

Heavy enterprise

Veľké objemy, viac modelov, vysoká dostupnosť a dedikovaný MLOps tím. Náklady sú vysoké, ale pri dostatočnom objeme môžu dávať ekonomický zmysel.

České dátové centrá

Pre firmy, ktoré nechcú vlastnú serverovňu, dáva zmysel housing alebo private cloud v lokálnom dátovom centre s jasnými zmluvami a fyzickou bezpečnosťou.

4. Softvérový stack

• Inference engine: vLLM, TensorRT-LLM, llama.cpp alebo podobné nástroje podľa modelu.
• Serving a orchestrácia: API vrstva, rate limiting, fronty a routing medzi modelmi.
• RAG a embedding: vektorová databáza, embedding modely a reranking.
• Monitoring: latencia, kvalita odpovedí, využitie GPU, náklady a incidenty.
• Security: IAM, šifrovanie, auditné logy, sieťová segmentácia a DLP.

5. Ekonomika: on-premise vs cloud API

On-premise model má vysokú vstupnú investíciu do GPU, serverov, dátového centra a tímu. Cloud API má nízky štart, ale náklady rastú s objemom. Break-even nastáva až pri dostatočnom využití hardvéru. Pri nízkom objeme je cloud lacnejší a jednoduchší.

6. Kedy to dáva zmysel

Áno

• Regulované alebo citlivé dáta.
• Veľký a stabilný objem tokenov.
• Vlastný infra alebo MLOps tím.
• Potreba dátovej suverenity.
• Špecifické doménové úlohy s RAG.

Nie

• Malý objem používania.
• Chýbajúci technický tím.
• Potrebujete rýchlo testovať nápad.
• Nemáte jasný use case ani vlastníka procesu.

7. Hybridný prístup

Pre väčšinu firiem je najlepší hybrid. Citlivé dáta a interné procesy bežia na privátnej infraštruktúre, všeobecné a nízkorizikové úlohy cez cloud API. Routing podľa citlivosti šetrí peniaze aj riziko.

8. Implementačný plán

Audit a stratégia

Zmapujte dáta, reguláciu, objem, latenciu a požiadavky na dostupnosť.

Hardware procurement a setup

Vyberte GPU, server, dátové centrum, sieť a bezpečnostnú architektúru.

Software deployment

Nasaďte inference engine, API vrstvu, monitoring, RAG a prístupové práva.

Pilot

Vyberte jeden proces, merajte kvalitu, latenciu, náklady a spätnú väzbu používateľov.

Produkcia

Pridajte SLA, incident management, aktualizácie modelov a pravidelný audit.

9. Compliance a audit

On-premise sám o sebe neznamená compliance. Potrebujete dokumentáciu, prístupové práva, logovanie, riadenie rizík, testovanie bezpečnosti a jasné pravidlá, kto môže model používať a na aké dáta.

10. Časté chyby

• Kúpiť GPU skôr než existuje use case.
• Podceniť MLOps a monitoring.
• Očakávať rovnakú kvalitu ako pri najväčších proprietárnych modeloch vo všetkom.
• Neriešiť aktualizácie modelov.
• Počítať iba cenu hardvéru, nie tím a prevádzku.

11. Výhľad

Open-source modely sa rýchlo zlepšujú a on-premise nasadenie je čoraz realistickejšie. Zároveň však cloudové API ostáva najrýchlejšia cesta pre veľa bežných scenárov. Rozhodnutie má vychádzať z dát, nie z ideológie.

Záver: on-premise LLM je zrelé riešenie, ale nie pre každého

Vlastný LLM dáva zmysel pri citlivých dátach, veľkom objeme alebo jasných regulačných požiadavkách. Pri menších projektoch je lepší hybrid alebo podnikové cloudové API.

Ak chcete posúdiť, či sa on-premise LLM oplatí vašej firme, napíšte nám. Spočítame objem, architektúru a break-even.

Často kladené otázky (FAQ)

Koľko stojí on-premise LLM?

Od stoviek tisíc Kč pri malom pilotovi až po milióny Kč pri enterprise nasadení. Rozhoduje model, GPU, dostupnosť a tím.

Je on-premise LLM tak dobrý ako GPT-4o alebo Claude?

Pri niektorých úlohách áno, pri iných nie. Treba testovať konkrétny use case, nie porovnávať modely abstraktne.

Spĺňa on-premise LLM NIS2 a NÚKIB požiadavky?

Môže pomôcť, ale sám nestačí. Potrebujete riadenie rizík, logovanie, prístupy, dokumentáciu a bezpečnostné procesy.