Az AI technológiák rohamos fejlődésével egyre több vállalat és szervezet dönt úgy, hogy saját szervereken futtatja mesterséges intelligencia megoldásait. Az on-premise AI rendszerek számos előnyt kínálnak, például nagyobb adatbiztonságot, testreszabhatóságot és költséghatékonyságot. 

Mi is kipróbáltuk ezeket a technológiákat, és alaposan megvizsgáltuk, hogyan lehet őket a legjobban alkalmazni a gyakorlatban. Az on-premise AI megoldások lehetővé teszik, hogy a vállalatok teljes mértékben ellenőrzésük alatt tartsák az adatokat, ami különösen fontos lehet az érzékeny információk kezelésekor. Emellett a rendszerek testreszabhatósága lehetővé teszi, hogy az AI megoldásokat pontosan az adott vállalat igényeihez igazítsák, így növelve a hatékonyságot és a versenyképességet. 

Most bemutatom az on-premise AI futtatásának néhány lehetőségét, amit kipróbáltunk: 

1. Ollama + OpenWebUI 

Az Ollama és az OpenWebUI kombinációja lehetővé teszi a felhasználók számára, hogy könnyedén kezeljék és alkalmazzák AI modelljeiket. Az OpenWebUI egy felhasználóbarát felületet biztosít, amely megkönnyíti a modellek betanítását és finomhangolását.  

Maga az Ollama telepítése nem okozott gondot, egy Windows-os gépen a WSL-t használva az ollama weboldalán leírtak szerint egyszerűen ment a telepítés, az általa biztosított modellek gond nélkül futottak egy középkategóriás gamer PC-t használva (i9 + RTX 2070 8GB videókártya), csak arra kellett ügyelni, hogy a modellek mérete ne haladja meg a videomemória méretét.  

2. CodeGPT és CodeGemma 

A CodeGPT és a CodeGemma két erőteljes eszköz, amelyek segítenek a fejlesztőknek AI-alapú kódgenerálásban és optimalizálásban. Ezek az eszközök különösen hasznosak lehetnek a szoftverfejlesztési folyamatok automatizálásában és a kódminőség javításában, működése nagyban hasonlít a Github Copilot-hoz, használatához az on-premise telepített Ollama-t használtuk. 

3. Llama3 Modell 

A Llama3 modell egy fejlett AI modell, amely kiváló teljesítményt nyújt különböző természetes nyelvi feldolgozási feladatokban. A modell nagy paraméterszáma lehetővé teszi a komplex feladatok hatékony megoldását, nagyon jó alternatívája lehet a ChatGPT-nek, lokálisan. 

Összehasonlítva például a Microsoft-os Copilot-al, közel azonos sebességgel futottak le a promptok, természetesen kevésbé “választékos” és naprakész válaszokat kapva. 

4. Példa: Vírus írása korlátozásmentes modellel 

Lokálisan futtatott AI szerveren tudunk olyan modelleket is használni, amelyek nincsenek lekorlátozva, és kérdezhetünk vagy kérhetünk tőlük bármit. Fontos megjegyezni, hogy az AI modellek, mint például a Dolphin-Mistral, potenciálisan veszélyes feladatokra is használhatók, például vírusírásra. Az ilyen alkalmazások etikai és jogi kérdéseket vetnek fel, ezért különös figyelmet kell fordítani a modellek felelős használatára. 

5. AI Modell Paraméterszámok és Quantizáció 

Az AI modellek paraméterszáma jelentős hatással van a modell teljesítményére és erőforrásigényére. A quantizáció egy olyan technika, amely csökkenti a modell méretét és számítási igényét, miközben minimális hatással van a teljesítményre. Ez olyankor fontos, amikor olyan modelleket szeretnénk használni lokálisan, aminek nagy az erőforrásigénye (VRAM, CPU). Ilyenkor csökkenthetjük a modell komplexitását, cserébe az eredmények precizitásának, változatosságának csökkenésével számolhatunk. 

6. HuggingFace és Ollama 

A HuggingFace közösség és au Ollama számos (többszázezer) előre betanított modellt és eszközt kínál, amelyek megkönnyítik az AI fejlesztést,  ezeknek a többsége vagy közvetlenül használható vagy  importálható az Ollama helyi példányára. Az LLava különösen hasznos a képanalízis feladatokban, lehetővé téve a képek automatikus elemzését és értelmezését. 

A képek értelmezése nagyon meggyőző volt, például nagyon részletesen körbeírta a képen látható objektumokat és embereket. Az alap OCR-el képességeivel már annyira nem jártunk sikerrel,  gyakran hibázott, és nehézkesen tudta értelmezni a képeken található szöveget. De ez az alapbeállításokkal történt, biztos vagyok benne, hogy egy jól beállított környezetben többet ki lehet hozni belőle. 

A képgenerálás is egy izgalmas területe az AI-nak, ehhez további kiegészítők telepítése szükséges. Mi a ComfyUI-t használtunk, ami nagyon professzionális node alapú grafikus tervezőfelületet ad (szintén lokálisan), és bár teljes és korlátozásmentes képeket generál, nem olyan pontos mint a “nagyok” képgenerátorai, persze a modellek amiket próbáltunk jócskán korlátozottak a VRAM mérete miatt. 

7. XLS File Beolvasása és Műveletek 

Az AI modellek gyakran használnak strukturált adatokat, például XLS fájlokat. Az ilyen fájlok beolvasása és elemzése alapvető lépés a modellek betanításában. Ezen kívül nagyon hasznos lehet a mindennapi munkánkban, komplett elemzést adhat a tartalmáról, értelmezheti azokat vagy akár műveleteket hajthat végre rajta. 

Összegzés 

Az on-premise AI megoldások számos előnyt kínálnak a vállalatok számára, beleértve a nagyobb adatbiztonságot és a testreszabhatóságot. Az itt bemutatott eszközök és modellek segítségével hatékonyan futtathatók AI alkalmazások saját szervereken, kihasználva az AI technológia nyújtotta lehetőségeket.