Hermes Agent a gyakorlatban: alapok az üzemeltetésben

enlightened Ez az oldal a közösségért készül. heart Kövess minket máshol is:  Linux Mint Magyar Közösség a Mastodon-on  Telegram csatorna – csak hírek  Beszélgessünk a Telegram – Linux csevegő csoport  Hírek olvasása RSS segítségével  Linux Mint Hivatalos Magyar Közösség a Facebook-on      Linux Mint Baráti Kör a Facebook-on
wink Ha hasznosnak találod, és szeretnéd, hogy folytatódjon, támogasd a munkát Ko-fi vagy Paypal segítségével. laugh

Kezdjük ott, hogy az ember nem szívesen küldözget fel céges hálózati konfigokat, jelszavakat vagy belső IP-címeket valamilyen külső felhős szolgáltatóhoz. Ha egy kisebb hálózatot, iskolát vagy otthoni labort üzemeltetsz, ahol egyszerre fut Windows Server az Active Directoryval, Linux a logokkal, plusz még ott lóg egy-két Cisco switch meg MikroTik router is, az adminisztráció elég hamar egyszemélyes tűzoltássá válhat.

Jó lenne, ha lenne egy segéd, aki átlátja a rendszert, de mindezt teljesen offline, a helyben futó mesterséges intelligenciára bízva? Megoldható. Nézzük meg, hogyan épül fel a rendszer, milyen modellekkel érdemes dolgozni, és hogyan kell beállítani a Hermes Agentet a mindennapi feladatokhoz.

Milyen modellekben érdemes gondolkodni?

Nem kell mindjárt a legnagyobb, milliárdos paraméterű modellekkel próbálkozni, mert azok csak lelassítanák a munkát. A 7B–8B (milliárd paraméteres) kategória az arany középút: elég okosak ahhoz, hogy értsék a Linuxot, a PowerShellt vagy a hálózati parancsokat, de még gyorsan reagálnak. Egy Q4_K_M kvantálású 7B modell körülbelül 4–5 GB VRAM-ot igényel, így egy közepes GPU-val vagy akár CPU-n is elfut.

  • Qwen2.5-Coder-7B-Instruct: Ha szkriptekről, parancsokról vagy hálózati konfigokról van szó, ez a modell rendkívül pontos. Ritkán téveszt szintaxist, legyen szó Bash menükről vagy Windows Server parancsokról.

  • Hermes 3 (Llama 3.1 8B): Ezt kifejezetten arra gyúrták, hogy jól értse az ügynök-szerű feladatokat, és lépésről lépésre hajtsa végre a kéréseket. Ollama-nál hermes3:8b néven érhető el.

A Hermes Agent és a modell beállítása lépésről lépésre

A rendszer felhúzása nem igényel bonyolult varázslatot, de érdemes lépésről lépésre követni a folyamatot, hogy a keretrendszer és a helyi modell tökéletesen együttműködjön.

1. Az Ollama háttérszolgáltatás indítása és a modell letöltése

A modell futtatásához először fel kell húzni az Ollama motort, majd le kell kérni a sysadmin feladatokhoz optimalizált modellt:

bash

# Ollama telepítése a szerverre
curl -fsSL https://ollama.com/install.sh | sh

# A választott modell letöltése és futtatása
ollama run qwen2.5-coder:7b-instruct-q4_K_M

2. A Hermes Agent keretrendszer konfigurálása

Miután a modell fut a háttérben, magát a Hermes Agentet kell beállítani, hogy tudja, melyik modellt kell megszólítania:

  1. Klónozd vagy töltsd le a Hermes Agent forrását egy dedikált mappába a szerveren.

  2. Hozz létre vagy szerkeszd a környezeti változókat tartalmazó konfigurációs fájlt (.env), ahol meg kell adnod az LLM backend elérhetőségét (alapértelmezés szerint http://localhost:11434 az Ollama számára).

  3. Állítsd be a modell nevét a konfigban (pl. MODEL_NAME=qwen2.5-coder:7b-instruct-q4_K_M), hogy az ügynök pontosan tudja, milyen „agyat” kell használnia a feladatok értelmezéséhez.

3. Az eszközkészletek (Tools) engedélyezése

A Hermes Agent lényege, hogy nemcsak beszél, hanem cselekszik. A beállítás során engedélyezni kell azokat a jogosultságokat és parancssori hozzáféréseket, amiket az ügynök használhat a rendszer ellenőrzésére:

  • Parancssori hozzáférés: Definiáld, hogy a Hermes Agent futtathat-e helyi Bash vagy PowerShell parancsokat a diagnosztikához.

  • Munkakönyvtár kijelölése: Adj meg egy biztonságos mappát, ahol a szkripteket vagy a naplófájlok elemzéseit ideiglenesen tárolhatja.

Biztonsági figyelmeztetés: Az ágensnek adott parancssori hozzáférés komoly kockázatot jelent. Egy hallucinált rm -rf vagy egy rosszul paraméterezett PowerShell parancs kárt okozhat. Mindig dolgozz sandboxolt környezetben, vezess be jóváhagyási lépcsőt (human-in-the-loop) a kritikus műveleteknél, és minimalizáld a jogosultságokat (pl. dedikált szolgáltatásfiók, csak olvasási jog a logokhoz).

Hogyan kezeli a szervert a promptokkal?

Amikor a Hermes Agent felállt, nem egy egyszerű csevegőablakot kapsz, hanem egy olyan rendszert, amely a tool-calling (eszközhívás) révén képes parancsokat generálni, fájlokat olvasni és beavatkozni.

Nézzük meg a gyakorlatban, mit jelent ez a mindennapi üzemeltetésben:

Ha Linux logokat vizsgálsz:
Beírod neki natív nyelven: „Nézd már meg, miért dob hibát az Nginx az elmúlt órában!”
Az ágens a kérés alapján összeállítja a megfelelő parancsot (pl. journalctl -u nginx --since "1 hour ago"), lefuttatja a szerveren, átnézi a kimenetet, és emberi nyelven kiszűri neked, hogy melyik konfigfájlban van elírva a gyökérkönyvtár.

Ha Windows Servert és Active Directoryt kérdezel le:
Azt mondod neki: „Listázd ki a letiltott felhasználói fiókokat a címtárból!”
A háttérben megírja és lefuttatja a megfelelő PowerShell parancsot (pl. Get-ADUser -Filter 'Enabled -eq $false'), majd a nyers adat helyett szépen rendezve kiírja neked a listát.

Ha hálózatot építesz (Cisco / MikroTik):
Ha elakadsz egy MikroTik RouterOS v7 tűzfalszabálynál vagy egy WireGuard VPN alagút beállításánál, megkéred, hogy írja meg a parancssorokat. Mivel a Qwen-Coder kívül-belül ismeri ezeket, olyan CLI parancsokat ad, amiket csak át kell másolnod a routerbe, vagy az API-n keresztül rá is bízhatod a futtatásukat – utóbbi esetben viszont érdemes előbb szárazon (dry-run) lefuttatni a parancsokat.

Miért éri meg így használni?
Mert nem kell attól tartani, hogy a cég adatai vagy a belső hálózati struktúra felkerül valahova a netre. Teljesen nálad marad az irányítás: a szerver a saját erőforrásaiból oldja meg a gondolkodást, és ott helyben segít összerakni a napi adminisztrációs feladatokat. Ha van egy kis szabad kapacitás a gépházban, érdemes adni neki egy esélyt a következő esti ügyeletnél!

Tipp: Ha több modellt is futtatsz párhuzamosan (pl. kódhoz Qwen-Coder, szöveges összefoglaláshoz Hermes 3), érdemes külön konfigurációs profilt készíteni mindegyikhez, és naplózni, melyik ágens melyik parancsot futtatta – így visszakereshető, mi történt egy-egy incidens során.

Hozzászólások

videjó

Értékelés: 

5
Átlag: 5 (1 szavazat)

 

Köszönöm a bejegyzést, 

Értékelés: 

0
Még nincs értékelve

Lassan 3–4 hónapja nyúzom ezeket a modelleket (főleg a Hermes 3 (Llama 3.1 8B)-t és a Qwen2.5-Coder-7B-Instructot). Látom, Gábor is elővette a témát a Kernelpánikon, bár valószínűleg ő is benne van már egy ideje – én nagyjából másfél éve nyüstölöm az Ollamát.

Elvből nem fizetek semmilyen felhős AI szolgáltatásért, mindent itthon, saját vason oldok meg. Nem egy szerverparkom van, de nem is gigászi modelleket akarok futtatni. A kínálat amúgy óriási, a Hugging Face-en rengeteg modell van, lényegében lehetetlen lenne mindet kiprópálni, de határozottan van miből válogatni – ráadásul a képeket is ezekkel generálom.

A hardveres felállás nálam két részre oszlik: az asztali gépen (Intel Core Ultra 5 225 + RTX 5050) az LM Studio fut, mellette pedig van egy külön Z sorozatos HP gépem egy RTX 3060-nal, amin a Ollama ketyeg – erről majd írok külön is egy beszámolót. A 8 GB VRAM-nak persze megvannak a maga korlátai, de a kisebb modellekhez ez a kétgépes elosztás teljesen jól használható.

Kép: