Nemrég került elő a raktár sarkából egy HP Z2 G4 Mini. Pár évig rendszergazdai munkaállomás volt, aztán félretettük, mert van nála jobb gép. A doboz poros, a gép üzemképes. Nem dobom ki. Megnézem, mit tud helyi AI-kiszolgálóként egy oktatási intézményben.

Nem most kezdtem ezzel foglalkozni. Másfél éve tolom az Ollama-alapú helyi modelleket, és néhány hónapja a Hermes Agentet is használom. Ez a cikk arról szól, mit építek, miért, és mivel kell számolni.

Egy dolgot rögtön az elején leszögezek: minden adat lokális marad. A modelleket egyszer letöltöm, aztán a futtatás, a dokumentumfeldolgozás, a naplók elemzése és a promptok nem mennek ki sehova. Egy iskolai hálózat belső topológiája, jelszavai és belső iratai nem tartoznak külső szolgáltatóra.

A NIS2 jelenleg nem vonatkozik a közoktatásra, csak a következő hullámban lépnek be az intézmények. Ez pont jó időszak arra, hogy kontrollált környezetben kísérletezzen az ember, mielőtt kötelezővé válik a komolyabb megfelelés.

A gép

A HP Z2 G4 Mini munkaállomás-kategóriás gép, nem irodai mini PC. C246-os chipset, ipari alkatrészek, 24/7 üzemre tervezve. Alacsony fogyasztás, stabil x86_64 teljesítmény, elfér egy polcon.

Az enyém most 32 GB DDR4 RAM-ot és 1 TB NVMe SSD-t kap. Mindkettő a gép hardveres maximuma. A HP adatlapja szerint ennél többet nem támogat.

A 32 GB memória nem luxus. Ez a multi-modell megközelítés alapja. Ezen a szinten már nemcsak egy modellt lehet készenlétben tartani, hanem egyszerre többet is. Az 1 TB SSD elég a modelleknek, konténereknek, naplóknak és a belső dokumentumoknak.

Számoljunk reálisan: CPU-only inference. 7-8B paraméteres modellek mennek Q4/Q5 kvantálással. A válaszidő nem lesz azonnali, de üzemeltetési feladatokra használható.

Szoftver

Debian Linux, karakteres módban. Nincs grafikus felület, ami RAM-ot zabálna. SSH-n elérhető, egyszerű menteni, egyszerű frissíteni.

Az Ollama a motor. Ez futtatja helyben a GGUF formátumú modelleket, és OpenAI-kompatibilis API-t ad.

A Hermes Agent az a réteg, ami az egészet értelmes egésszé teszi. A Nous Research által fejlesztett, önmagát fejlesztő AI-ügynök. Nem egy chatfelület, hanem egy autonóm rendszer, ami tanul a tapasztalataiból, skilleket hoz létre, és jegyzetel magának arról, hogyan oldott meg egy problémát. A projekt oldala szerint ez az egyetlen ügynök, amely beépített tanulási ciklussal rendelkezik.

Az Open WebUI a központi felület a kollégáknak. Chat, jogosultságkezelés, helyi dokumentumfeldolgozás.

Hálózati elnevezés és belső címek

Az iskolai hálózatban minden gépnek beszédes neve van. Az AI-szerver az ai-server1.budapest.lan nevet kapja, fix belső IP-vel a 10.20.30.0/24 tartományból. A DNS-t a helyi Windows Server vagy a router kezeli, attól függően, hol van az iskola névfeloldása.

A szolgáltatások belső portokon futnak:

• Ollama API: ai-server1.budapest.lan:11434

• Open WebUI: ai-server1.budapest.lan:3000

• Hermes Agent gateway: ai-server1.budapest.lan:8080

• SSH: ai-server1.budapest.lan:22

A webes felület csak a belső hálózatról érhető el. Kívülről semmi. Ha a rendszergazda otthonról akar belépni, VPN-en keresztül teszi, nem portforwarddal.

A Hermes Agent telepítése

A telepítés a hivatalos installerrel történik, az ai-server1.budapest.lan gépen, a hermes rendszergazdai felhasználó alatt.

Először a függőségek:

text

sudo apt update && sudo apt install -y curl git python3 python3-pip python3-venv build-essential

Utána a Hermes Agent telepítése:

text

curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash

A telepítő létrehozza a ~/.hermes könyvtárat, és a hermes parancsot a /usr/local/bin alá teszi.

A beállítási varázsló:

text

hermes setup --portal

A varázsló bekéri a modell végpontot. Itt az Ollama belső hálózati címét adjuk meg, hogy a konfiguráció akkor is működjön, ha az Agent később másik gépről éri el az Ollamát:

text

http://ai-server1.budapest.lan:11434/v1

Az API-kulcs mezőt nem hagyjuk üresen, mert az OpenAI-kompatibilis kliens megköveteli a mező jelenlétét. Bármilyen nem üres sztring megfelel, például ollama. Az Ollama helyben nem ellenőrzi a kulcsot, de a kliens elvárja.

Ha a telepítés Ollama alá történik, a legegyszerűbb út az ollama launch hermes parancs, ami automatikusan beállítja a végpontot és a modellt.

A modellválasztás a hermes model paranccsal történik. Itt listázódnak az Ollamában elérhető modellek. Kiválasztjuk a Hermes 3 8B-t, vagy amit épp használni akarunk.

Hogyan kapcsolódik össze a Hermes Agent és a helyi modellek?

Itt érdemes pontosnak lenni, mert sok tévhit kering.

A Hermes Agent nem egy modell. A Hermes 3 egy modell, amit lehet vele használni, de az Agent maga egy keretrendszer, ami bármilyen OpenAI-kompatibilis végpontot el tud érni. A dokumentáció szerint támogatja az Ollamát, a vLLM-et, a llama.cpp-t, az SGLangot, vagy bármilyen más OpenAI-kompatibilis szervert.

A v0.22.0 verziótól kezdve a helyi modellek használata egy kattintással beállítható. A Hermes Agent telepít egy llama.cpp szervert, letölti a modellt, és a hardverhez igazítja a beállításokat. A modell letöltése szüneteltethető és folytatható, a szerver a Hermessel együtt indul és áll le. Ez a funkció Windows, macOS és Linux alatt is elérhető a Settings → Providers → Local Models menüben.

Az én esetemben két út van. Az egyik: hagyom, hogy a Hermes Agent kezelje a llama.cpp szervert a beépített funkcióval. A másik: az Ollama fut a háttérben az ai-server1.budapest.lan:11434 címen, és a Hermes Agentet ráirányítom erre a végpontra.

Mindkettő működik. Az Ollama-alapú megoldás azért praktikus, mert az Open WebUI is ugyanazt az Ollamát használja, így a modellek egy helyen vannak. A config.yaml-ban a provider bejegyzés így néz ki:

text

providers:
  local-ollama:
    type: openai
    base_url: http://ai-server1.budapest.lan:11434/v1
    api_key: ollama
    models:
      - hermes3:8b
      - qwen2.5-coder:7b
      - phi4:latest
      - deepseek-coder:latest

Az api_key mezőbe bármit írhatunk, az Ollama nem ellenőrzi, de a kliens megköveteli a mező jelenlétét.

Mit tud a Hermes Agent?

A hivatalos leírás szerint az Agent a következőket tudja:

Folyamatos memória. Megjegyzi a projekteket, a megoldásokat, és nem felejti el, hogyan oldott meg egy problémát. Ez üzemeltetési környezetben azt jelenti, hogy ha egyszer megmutattam neki, hogyan kell egy bizonyos switch konfigurációt ellenőrizni, legközelebb már tudni fogja.

Tanulási ciklus. A bonyolult feladatok után magától létrehoz egy skillt, és azt a használat során finomítja. Ez nem beprogramozott viselkedés, hanem a rendszer sajátja.

Ütemezett feladatok. Természetes nyelvű utasításokkal lehet beállítani ismétlődő feladatokat. Napi jelentések, éjszakai mentések, heti auditok. Ezek emberi beavatkozás nélkül futnak.

Több felület. Telegram, Discord, Slack, WhatsApp, Signal, e-mail, CLI. Egy ügynök, egy memória, minden felületen. Ez iskolai környezetben azt jelenti, hogy a rendszergazda a telefonjáról is elérheti az ügynököt, ha éppen nem a gép előtt ül.

Eszközhasználat. Több mint 60 beépített eszköz. Webkeresés, böngészőautomatizálás, képfeldolgozás, szövegfelolvasás. Az Agent maga dönti el, mikor melyiket használja.

Izolált sandbox. A kód futtatása történhet helyben, Dockerben, SSH-n keresztül, Singularityben vagy Modalban. Ez biztonsági szempontból fontos: az ügynök által futtatott szkriptek elkülönülnek a rendszertől.

A dokumentáció külön kiemeli, hogy a Hermes Agent nem egy IDE-hez kötött coding copilot, és nem egy API-wrapper. Hanem egy autonóm ügynök, ami minél tovább fut, annál hasznosabb lesz.

Hogyan használom üzemeltetésre?

A gyakorlatban ez azt jelenti, hogy az Agent beolvassa a switch logját, kiszűri a hibákat, és javaslatot ad a következő lépésre. Vagy a Qwen2.5-Coder megírja a konfigurációt, az Agent pedig ellenőrzi a lépéseket.

A lényeg: az Agent nem futtathat akármit. Alapból csak olvasási jogot kap. Írás és konfigurációmódosítás csak emberi jóváhagyás után történhet. Minden tool call naplózva van. A web UI csak a belső hálózatról érhető el.

Az Agent a hermes parancsra indul a CLI-ből, vagy a hermes --daemon paranccsal háttérszolgáltatásként. Az utóbbi akkor hasznos, ha a Telegram-integrációt is akarjuk, mert így a rendszergazda a telefonjáról is elérheti.

A modellcsapat

A 32 GB RAM-mal az alábbi modellek osztozhatnak a feladatokon.

Qwen2.5-Coder 7B – MikroTik RouterOS, Cisco IOS/CLI, VLAN-ok. Ismeri a hálózati protokollokat és tűzfalszabályokat.

Phi-4 vagy Phi-3.5 – Windows Server, Active Directory, PowerShell. Erős logikai és operációs rendszer-specifikus tervezés.

DeepSeek-Coder – Linux, FreeBSD, Bash, Ansible. Shell szkriptek, pf.conf és nftables konfigurációk.

Hermes 3 8B – Többlépéses ágensfeladatok, tool calling. Döntéshozatal és automatizált feladattervezés.

A Hermes Agent ezeket a modelleket az Ollama végponton keresztül éri el. A modellválasztás a hermes model paranccsal történik, kódmódosítás nélkül.

Teljesítmény

CPU-n a 7B modellek Q4 kvantálással 5-10 tok/s körül teljesítenek. A HP Z2 G4 Mini i7-8700 processzora 6 magos. A válaszidő nem lesz villámgyors, de üzemeltetési feladatokra elfogadható.

Egy friss kutatás szerint CPU-n a prefill a szűk keresztmetszet, nem a decode. A hosszú promptok feldolgozása viszi el az idő nagy részét. Rövid, célzott promptokkal viszont használható marad a rendszer.

Magyar valóság: nulla büdzsé

Magyarországon az oktatási intézmények informatikai fejlesztéseire fordítható összeg gyakran a nulla közelében van. A pályázatok lassúak, a beszerzések bürokratikusak, az új hardver drága.

A HP Z2 G4 Mini, amiről ez a cikk szól, éppen ilyen. Nem kellett újonnan venni, a gép már megvolt. A 32 GB memória és az 1 TB SSD bővítés néhány tízezer forintból megoldható. A szoftver nyílt forráskódú és ingyenes. Nincs előfizetés, nincs licencköltség, nincs felhőszámla.

Milyen gépek jönnek még szóba?

Nem kell ragaszkodni egy márkához. A lényeg a munkaállomás-kategória, a kompakt méret és a bővíthető memória.

HP: A Z2 Mini sorozat több generációja is szóba jön. A G4 az, amiről ez a cikk szól, de a G5 is jó választás – 10. generációs Intel processzorral szerelt, biztonságos. A G9 már DDR5-öt és 13. generációs Intel processzort használ, ott óvatosnak kell lenni.

Lenovo: A ThinkStation Tiny sorozat a HP Z2 Mini közvetlen versenytársa. A P340 Tiny, P350 Tiny, P360 Tiny és P3 Tiny modellek kompakt munkaállomások, a legtöbbjük 32 GB vagy akár 64 GB memóriára bővíthető. A P340 Tiny használtan már 175 000 forint körül elérhető.

Dell: A Precision sorozat erős alternatíva. A Precision 3260 Compact egy 2,3 literes házban elférő munkaállomás, akár 64 GB DDR5 memóriával és 13. generációs Intel processzorral – itt is vigyázni kell a 13. generációval. A régebbi Precision 3240 Compact vagy 3430 Compact 10. vagy 12. generációs Intel processzorral szerelt.

Nem kell Enterprise-kategóriás gép. Egy egyszerűbb, de munkaállomás-minőségű kompakt gép is elég. A fontos a memóriaméret (minimum 32 GB), a tároló (legalább 1 TB SSD) és a megbízható hűtés.

Amit kerülni érdemes: 13. generációs Intel

Az Intel 13. és 14. generációs processzorai – különösen a Raptor Lake széria – gyártási problémákkal küszködtek. Az egyik hiba az úgynevezett „via oxidation” volt, a chip belsejében lévő réz összeköttetések oxidációja, ami viszonylag gyors meghibásodáshoz vezetett. A másik a túl magas feszültség, ami instabilitást okozott.

Az Intel 2023-ban gyártási fejlesztésekkel kezelte a problémát, és mikrokód-frissítésekkel (0x12B) próbálja orvosolni az instabilitást, a garanciát pedig 5 évre hosszabbította. Használt hardver vásárlásánál viszont nem tudjuk, melyik gyártási tételből származik a chip. Ezért a 13. generációs Intel processzorral szerelt gépeket érdemes elkerülni, hacsak nem új, garanciális példányról van szó.

A 10., 11. és 12. generációs Intel processzorok nem érintettek.

Mac Mini M4 – miért nem az?

Hardveresen a Mac Mini M4 sokkal erősebb AI feladatokra. Az M4 chip 10 magos CPU-t és 10 magos GPU-t tartalmaz, plusz egy 16 magos Neural Engine-t, ami 38 TOPS teljesítményt ad. A benchmarkok szerint 16 GB-tal a 8B modellek átlagosan 4,5 tok/s sebességgel futnak, a kisebb modellek 15,7 tok/s-mal.

A fogyasztásban is nagy a szakadék. A HP idle 23-27 W, terhelés alatt 65 W-ig. A Mac Mini M4 idle 4-6 W, terhelés alatt 37-45 W.

És akkor a lényeg: a HP Z2 G4 Mini már megvan. A bővítés néhány tízezer forint. A Mac Mini M4 32 GB RAM-mal és legalább 512 GB SSD-vel újonnan 300-400 ezer forint körül van.

A HP előnye a meglévő hardver és a Linuxos szerverkörnyezet. A Mac Mini előnye a hardveres AI-gyorsítás és az alacsony fogyasztás. Ha a cél a lehető legkevesebb költséggel elindulni, a HP a nyerő. Ha sikeres lesz a kísérlet, egy Mac Mini M4 lehet a következő lépés – de azt már a mérési eredmények alapján.

Projektterv

Hardverellenőrzés: RAM, SSD, firmware, hűtés, tápegység. Debian telepítés karakteres módban, SSH-kulccsal, UFW-vel, fail2ban-nal. A gép felvétele a belső DNS-be ai-server1.budapest.lan néven, fix IP-vel. Ollama és Open WebUI konténerizálása. Modellek telepítése. Hermes Agent telepítése és összekötése az Ollama végponttal. RAG beállítás, belső dokumentumok helyi indexelése. Pilot: saját munkafolyamatokban tesztelés, mérés, dokumentálás. Értékelés.

Amit nem szabad elhinni

Nem kell csodát várni. CPU-n a 8B modell lassú. A tool call néha hibás. Az Agent hajlamos kitalálni dolgokat. Ezért kell szigorú séma, validáció, emberi jóváhagyás.

A lokális működés nem jelenti azt, hogy nincs biztonsági kockázat. A webes felületet védeni kell, a jogosultságokat be kell állítani, a mentéseket meg kell oldani.

A NIS2 még nem kötelez a közoktatásban, de a naplózás, a jogosultságkezelés és a mentés most is alap.

Végül

A lomnak hitt, leselejtezett vállalati hardver újbóli életre keltése nemcsak fenntartható és költséghatékony, hanem jó terep tapasztalatgyűjtésre. Egy jól felépített, Debian-alapú HP Mini központtal a hátunk mögött lépésről lépésre haladhatunk az önvezető hálózati automatizáció és a helyi ágensek kora felé.

Nálam a cél egyszerű: kevesebbet dolgozni a rutinfeladatokkal, tartani a színvonalat, és közben felkészülni arra a következő hullámra, amikor a közoktatásban is komolyabban előkerül a szabályozott, biztonságos AI-infrastruktúra. A gép adott. A bővítés néhány tízezer forint. A tapasztalat megvan. A Hermes Agenttel az ágens-alapú üzemeltetés nem elméleti lehetőség, hanem konkrét, kipróbálható gyakorlat.

A Mac Mini M4 hardveresen erősebb, de a HP Z2 G4 Mini a jelenlegi helyzetben a reális út. Ez nem AI-hype, hanem üzemeltetési kísérlet. A hetekben indul.