Az AI technológiák rohamos fejlődésével egyre több vállalat és szervezet dönt úgy, hogy saját szervereken futtatja mesterséges intelligencia megoldásait. Az on-premise AI rendszerek számos előnyt kínálnak, például nagyobb adatbiztonságot, testreszabhatóságot és költséghatékonyságot.
Az AI technológiák rohamos fejlődésével egyre több vállalat és szervezet dönt úgy, hogy saját szervereken futtatja mesterséges intelligencia megoldásait. Az on-premise AI rendszerek számos előnyt kínálnak, például nagyobb adatbiztonságot, testreszabhatóságot és költséghatékonyságot.
Mi is kipróbáltuk ezeket a technológiákat, és alaposan megvizsgáltuk, hogyan lehet őket a legjobban alkalmazni a gyakorlatban. Az on-premise AI megoldások lehetővé teszik, hogy a vállalatok teljes mértékben ellenőrzésük alatt tartsák az adatokat, ami különösen fontos lehet az érzékeny információk kezelésekor. Emellett a rendszerek testreszabhatósága lehetővé teszi, hogy az AI megoldásokat pontosan az adott vállalat igényeihez igazítsák, így növelve a hatékonyságot és a versenyképességet.
Most bemutatom az on-premise AI futtatásának néhány lehetőségét, amit kipróbáltunk:
1. Ollama + OpenWebUI
Az Ollama és az OpenWebUI kombinációja lehetővé teszi a felhasználók számára, hogy könnyedén kezeljék és alkalmazzák AI modelljeiket. Az OpenWebUI egy felhasználóbarát felületet biztosít, amely megkönnyíti a modellek betanítását és finomhangolását.
Maga az Ollama telepítése nem okozott gondot, egy Windows-os gépen a WSL-t használva az ollama weboldalán leírtak szerint egyszerűen ment a telepítés, az általa biztosított modellek gond nélkül futottak egy középkategóriás gamer PC-t használva (i9 + RTX 2070 8GB videókártya), csak arra kellett ügyelni, hogy a modellek mérete ne haladja meg a videomemória méretét.
2. CodeGPT és CodeGemma
A CodeGPT és a CodeGemma két erőteljes eszköz, amelyek segítenek a fejlesztőknek AI-alapú kódgenerálásban és optimalizálásban. Ezek az eszközök különösen hasznosak lehetnek a szoftverfejlesztési folyamatok automatizálásában és a kódminőség javításában, működése nagyban hasonlít a Github Copilot-hoz, használatához az on-premise telepített Ollama-t használtuk.
3. Llama3 Modell
A Llama3 modell egy fejlett AI modell, amely kiváló teljesítményt nyújt különböző természetes nyelvi feldolgozási feladatokban. A modell nagy paraméterszáma lehetővé teszi a komplex feladatok hatékony megoldását, nagyon jó alternatívája lehet a ChatGPT-nek, lokálisan.
Összehasonlítva például a Microsoft-os Copilot-al, közel azonos sebességgel futottak le a promptok, természetesen kevésbé “választékos” és naprakész válaszokat kapva.
4. Példa: Vírus írása korlátozásmentes modellel
Lokálisan futtatott AI szerveren tudunk olyan modelleket is használni, amelyek nincsenek lekorlátozva, és kérdezhetünk vagy kérhetünk tőlük bármit. Fontos megjegyezni, hogy az AI modellek, mint például a Dolphin-Mistral, potenciálisan veszélyes feladatokra is használhatók, például vírusírásra. Az ilyen alkalmazások etikai és jogi kérdéseket vetnek fel, ezért különös figyelmet kell fordítani a modellek felelős használatára.
5. AI Modell Paraméterszámok és Quantizáció
Az AI modellek paraméterszáma jelentős hatással van a modell teljesítményére és erőforrásigényére. A quantizáció egy olyan technika, amely csökkenti a modell méretét és számítási igényét, miközben minimális hatással van a teljesítményre. Ez olyankor fontos, amikor olyan modelleket szeretnénk használni lokálisan, aminek nagy az erőforrásigénye (VRAM, CPU). Ilyenkor csökkenthetjük a modell komplexitását, cserébe az eredmények precizitásának, változatosságának csökkenésével számolhatunk.
6. HuggingFace és Ollama
A HuggingFace közösség és au Ollama számos (többszázezer) előre betanított modellt és eszközt kínál, amelyek megkönnyítik az AI fejlesztést, ezeknek a többsége vagy közvetlenül használható vagy importálható az Ollama helyi példányára. Az LLava különösen hasznos a képanalízis feladatokban, lehetővé téve a képek automatikus elemzését és értelmezését.
A képek értelmezése nagyon meggyőző volt, például nagyon részletesen körbeírta a képen látható objektumokat és embereket. Az alap OCR-el képességeivel már annyira nem jártunk sikerrel, gyakran hibázott, és nehézkesen tudta értelmezni a képeken található szöveget. De ez az alapbeállításokkal történt, biztos vagyok benne, hogy egy jól beállított környezetben többet ki lehet hozni belőle.
A képgenerálás is egy izgalmas területe az AI-nak, ehhez további kiegészítők telepítése szükséges. Mi a ComfyUI-t használtunk, ami nagyon professzionális node alapú grafikus tervezőfelületet ad (szintén lokálisan), és bár teljes és korlátozásmentes képeket generál, nem olyan pontos mint a “nagyok” képgenerátorai, persze a modellek amiket próbáltunk jócskán korlátozottak a VRAM mérete miatt.
7. XLS File Beolvasása és Műveletek
Az AI modellek gyakran használnak strukturált adatokat, például XLS fájlokat. Az ilyen fájlok beolvasása és elemzése alapvető lépés a modellek betanításában. Ezen kívül nagyon hasznos lehet a mindennapi munkánkban, komplett elemzést adhat a tartalmáról, értelmezheti azokat vagy akár műveleteket hajthat végre rajta.
Összegzés
Az on-premise AI megoldások számos előnyt kínálnak a vállalatok számára, beleértve a nagyobb adatbiztonságot és a testreszabhatóságot. Az itt bemutatott eszközök és modellek segítségével hatékonyan futtathatók AI alkalmazások saját szervereken, kihasználva az AI technológia nyújtotta lehetőségeket.