cover

On-Premise AI Solutions

On-Premise AI Solutions
Mortoff Blog
On-Premise AI Solutions

Az AI technológiák rohamos fejlődésével egyre több vállalat és szervezet dönt úgy, hogy saját szervereken futtatja mesterséges intelligencia megoldásait. Az on-premise AI rendszerek számos előnyt kínálnak, például nagyobb adatbiztonságot, testreszabhatóságot és költséghatékonyságot. 

Mi is kipróbáltuk ezeket a technológiákat, és alaposan megvizsgáltuk, hogyan lehet őket a legjobban alkalmazni a gyakorlatban. Az on-premise AI megoldások lehetővé teszik, hogy a vállalatok teljes mértékben ellenőrzésük alatt tartsák az adatokat, ami különösen fontos lehet az érzékeny információk kezelésekor. Emellett a rendszerek testreszabhatósága lehetővé teszi, hogy az AI megoldásokat pontosan az adott vállalat igényeihez igazítsák, így növelve a hatékonyságot és a versenyképességet. 

Most bemutatom az on-premise AI futtatásának néhány lehetőségét, amit kipróbáltunk: 

1. Ollama + OpenWebUI 

Az Ollama és az OpenWebUI kombinációja lehetővé teszi a felhasználók számára, hogy könnyedén kezeljék és alkalmazzák AI modelljeiket. Az OpenWebUI egy felhasználóbarát felületet biztosít, amely megkönnyíti a modellek betanítását és finomhangolását.  

Maga az Ollama telepítése nem okozott gondot, egy Windows-os gépen a WSL-t használva az ollama weboldalán leírtak szerint egyszerűen ment a telepítés, az általa biztosított modellek gond nélkül futottak egy középkategóriás gamer PC-t használva (i9 + RTX 2070 8GB videókártya), csak arra kellett ügyelni, hogy a modellek mérete ne haladja meg a videomemória méretét.  

2. CodeGPT és CodeGemma 

A CodeGPT és a CodeGemma két erőteljes eszköz, amelyek segítenek a fejlesztőknek AI-alapú kódgenerálásban és optimalizálásban. Ezek az eszközök különösen hasznosak lehetnek a szoftverfejlesztési folyamatok automatizálásában és a kódminőség javításában, működése nagyban hasonlít a Github Copilot-hoz, használatához az on-premise telepített Ollama-t használtuk. 

3. Llama3 Modell 

A Llama3 modell egy fejlett AI modell, amely kiváló teljesítményt nyújt különböző természetes nyelvi feldolgozási feladatokban. A modell nagy paraméterszáma lehetővé teszi a komplex feladatok hatékony megoldását, nagyon jó alternatívája lehet a ChatGPT-nek, lokálisan. 

Összehasonlítva például a Microsoft-os Copilot-al, közel azonos sebességgel futottak le a promptok, természetesen kevésbé “választékos” és naprakész válaszokat kapva. 

4. Példa: Vírus írása korlátozásmentes modellel 

Lokálisan futtatott AI szerveren tudunk olyan modelleket is használni, amelyek nincsenek lekorlátozva, és kérdezhetünk vagy kérhetünk tőlük bármit. Fontos megjegyezni, hogy az AI modellek, mint például a Dolphin-Mistral, potenciálisan veszélyes feladatokra is használhatók, például vírusírásra. Az ilyen alkalmazások etikai és jogi kérdéseket vetnek fel, ezért különös figyelmet kell fordítani a modellek felelős használatára. 

5. AI Modell Paraméterszámok és Quantizáció 

Az AI modellek paraméterszáma jelentős hatással van a modell teljesítményére és erőforrásigényére. A quantizáció egy olyan technika, amely csökkenti a modell méretét és számítási igényét, miközben minimális hatással van a teljesítményre. Ez olyankor fontos, amikor olyan modelleket szeretnénk használni lokálisan, aminek nagy az erőforrásigénye (VRAM, CPU). Ilyenkor csökkenthetjük a modell komplexitását, cserébe az eredmények precizitásának, változatosságának csökkenésével számolhatunk. 

6. HuggingFace és Ollama 

A HuggingFace közösség és au Ollama számos (többszázezer) előre betanított modellt és eszközt kínál, amelyek megkönnyítik az AI fejlesztést,  ezeknek a többsége vagy közvetlenül használható vagy  importálható az Ollama helyi példányára. Az LLava különösen hasznos a képanalízis feladatokban, lehetővé téve a képek automatikus elemzését és értelmezését. 

A képek értelmezése nagyon meggyőző volt, például nagyon részletesen körbeírta a képen látható objektumokat és embereket. Az alap OCR-el képességeivel már annyira nem jártunk sikerrel,  gyakran hibázott, és nehézkesen tudta értelmezni a képeken található szöveget. De ez az alapbeállításokkal történt, biztos vagyok benne, hogy egy jól beállított környezetben többet ki lehet hozni belőle. 

A képgenerálás is egy izgalmas területe az AI-nak, ehhez további kiegészítők telepítése szükséges. Mi a ComfyUI-t használtunk, ami nagyon professzionális node alapú grafikus tervezőfelületet ad (szintén lokálisan), és bár teljes és korlátozásmentes képeket generál, nem olyan pontos mint a “nagyok” képgenerátorai, persze a modellek amiket próbáltunk jócskán korlátozottak a VRAM mérete miatt. 

7. XLS File Beolvasása és Műveletek 

Az AI modellek gyakran használnak strukturált adatokat, például XLS fájlokat. Az ilyen fájlok beolvasása és elemzése alapvető lépés a modellek betanításában. Ezen kívül nagyon hasznos lehet a mindennapi munkánkban, komplett elemzést adhat a tartalmáról, értelmezheti azokat vagy akár műveleteket hajthat végre rajta. 

Összegzés 

Az on-premise AI megoldások számos előnyt kínálnak a vállalatok számára, beleértve a nagyobb adatbiztonságot és a testreszabhatóságot. Az itt bemutatott eszközök és modellek segítségével hatékonyan futtathatók AI alkalmazások saját szervereken, kihasználva az AI technológia nyújtotta lehetőségeket. 

Mi kell az AI sikeres bevezetéséhez?
Mi kell az AI sikeres bevezetéséhez?

Egy AI-ready szervezeteket fejlesztő pszichológus, Szirtes Hajnalka, és az OPMobility TIER1-es autóipari vállalat globális ipari mérnöki és digitális gyártási igazgatója, Gulyás Gábor ült ez alkalommal mikrofonjaink mögé.

Meghallgatom
Az oldal sütiket használ, hogy személyre szabjuk a tartalmakat és reklámokat, hogy működjenek a közösségi média funkciók, valamint hogy elemezzük a weboldal forgalmát. Bővebben a "Beállítások" gombra kattintva olvashat.
Az oldal sütiket használ, hogy személyre szabja az oldalon megjelenő tartalmat és reklámokat.