2005. november 1-jén a nemzetközi pénzügyi világ egy rendkívül súlyos informatikai incidensnek lehetett tanúja: a tokiói tőzsdén (Tokyo Stock Exchange, TSE) egy szoftverhiba miatt órákra teljesen leállt a részvénykereskedés. A világ egyik legjelentősebb értékpapírpiaca aznap nem tudta a megszokott időben megkezdeni működését, ami komoly figyelmeztetést jelentett a pénzügyi szektor számára a modern informatikai rendszerektől való függőség veszélyeiről.

Az eset különösen azért volt jelentős, mert nem természeti katasztrófa, terrortámadás vagy külső informatikai támadás okozta a fennakadást. A problémát egy korábbi rendszerfrissítéshez kapcsolódó szoftverhiba idézte elő. A tőzsde működéséhez nélkülözhetetlen kereskedési infrastruktúrát a japán Fujitsu fejlesztette, így a meghibásodás az informatikai beszállítók, a rendszerfrissítések és a kritikus pénzügyi infrastruktúrák biztonságának kérdését is előtérbe helyezte.

A meghibásodás előzményei – a tőzsde informatikai rendszerének fejlesztése

A tokiói tőzsde 2005 őszén jelentős forgalomnövekedéssel szembesült. A befektetők egyre nagyobb számban adtak vételi és eladási megbízásokat, ezért a tőzsde vezetése szükségesnek látta a kereskedési infrastruktúra kapacitásának bővítését. A fejlesztésre 2005. október 8. és 10. között, egy háromnapos hétvége alatt került sor. A rendszer napi megbízásfeldolgozási kapacitását 6,2 millióról 7,5 millió megbízásra emelték. Ez jelentős, közel 21 százalékos növekedést jelentett.

A munkálatok során a Fujitsu által fejlesztett kereskedési alkalmazásokban is módosításokat hajtottak végre. A fejlesztés célja az volt, hogy a rendszer a korábbinál nagyobb mennyiségű tranzakciót tudjon kezelni anélkül, hogy a megnövekedett forgalom miatt teljesítményproblémák jelentkeznének.

A változtatások azonban egy olyan hibát is magukban hordoztak, amelynek következményei csak hetekkel később váltak nyilvánvalóvá.

A probléma egyik kulcseleme a kereskedési résztvevők adatait tároló adatállomány volt. Ebben szerepeltek többek között a brókercégek azonosítói, valamint az általuk használt kereskedési terminálokhoz kapcsolódó információk. A kereskedési rendszernek ezekre az adatokra szüksége volt a megfelelő működéshez.

A fejlesztés során egy korábban meglévő programhibát is felfedeztek, amelyet a Fujitsu 2005. október 9-én kijavított. A javítás későbbi rendszerbe illesztése azonban nem történt meg megfelelően.

A rejtett hiba, amely csak október végén jelentkezett

A történet egyik legérdekesebb mozzanata, hogy a rendszer nem közvetlenül a frissítés után hibásodott meg. A javított programot október 13-án regisztrálták hivatalosan a tőzsde kereskedési rendszerében. A Fujitsu azonban a módosítások dokumentációjából kihagyott néhány szükséges információt. Emiatt a rendszerbe nem teljesen egységes programállomány került: az új, javított program és a korábbi verzió bizonyos elemei egyszerre maradtak jelen.

Ez a hiba október 14. és 31. között nem okozott látható működési problémát. A rendszer a régi programrészt használta, így a kereskedés zavartalanul folytatódhatott.

A valódi probléma október 31-én, a hónap végi automatikus karbantartás során jelentkezett.

A tokiói tőzsde informatikai rendszere minden hónap végén automatikus adatrendezési és tömörítési műveletet végzett. Ennek célja a tárolókapacitás hatékonyabb kihasználása, illetve az adatállományok elhelyezkedésének optimalizálása volt. A folyamat bizonyos értelemben a személyi számítógépeken ismert lemeztöredezettség-mentesítéshez hasonlítható. A művelet során megváltozott egyes adatállományok tárolási helye. A rendszernek az új helyen kellett volna megtalálnia a kereskedési résztvevők adatait, azonban a korábbi és az új programverziók közötti ellentmondás miatt ez nem sikerült. Az automatikus karbantartási folyamat megszakította a régi program és a megfelelő rendszerkomponensek közötti kapcsolatot. Ennek következtében a következő napi rendszerindításkor már nem álltak rendelkezésre a megfelelő adatok.

A hiba tehát nem egyetlen pillanat alatt keletkezett: egy korábbi fejlesztési hiányosság, egy dokumentációs probléma és egy rendszeres karbantartási folyamat együttesen vezetett a teljes leálláshoz.

2005. november 1. – amikor nem indult el a kereskedés

2005. november 1-jén, kedden reggel a tokiói tőzsde dolgozói a megszokott módon megkezdték a kereskedési rendszer elindítását. A rendszerindítás már reggel 6 óra 30 perckor elkezdődött, de hamarosan súlyos hibát észleltek. A kereskedési résztvevőkkel kapcsolatos adatokat beolvasó program nem a megfelelő információkat találta meg, ezért a rendszer biztonsági okokból leállította az indulási folyamatot.

A hiba nem egyetlen részvényt vagy egy meghatározott kereskedési szegmenst érintett. A teljes elektronikus részvénykereskedési infrastruktúra működésképtelenné vált. A tőzsde informatikai szakemberei megpróbálták újraindítani a rendszert, de az ismételt kísérletek sem vezettek eredményre. A hibás adatállományok miatt a kereskedési alkalmazás nem tudott megfelelően elindulni. A tőzsde vezetése számára egyre világosabbá vált, hogy a problémát nem lehet egy egyszerű újraindítással megoldani.

A reggeli kereskedés elmaradása

Helyi idő szerint 9 órakor kellett volna megkezdődnie a szokásos napi kereskedésnek. Ez azonban nem történt meg.

A leállás összesen 2520 értékpapírt érintett, köztük:

• a tokiói tőzsde első és második szekciójában jegyzett részvényeket;

• a Mothers piacon kereskedett vállalatok részvényeit;

• az ingatlanbefektetési alapok (REIT-ek) értékpapírjait;

• az átváltható kötvényeket és más kapcsolódó értékpapírokat.

A befektetők, brókercégek és pénzügyi intézmények nem tudták a megszokott módon végrehajtani részvényügyleteiket. A helyzet különösen súlyos volt, mert a tokiói tőzsde ekkorra már teljesen elektronikus kereskedési infrastruktúrára állt át. A hagyományos, parketten zajló kereskedés 1999-ben megszűnt, így nem állt rendelkezésre olyan hagyományos alternatíva, amellyel a teljes részvénypiaci forgalmat át lehetett volna venni.

A fennakadás ráadásul nem kizárólag Tokiót érintette: a tokiói rendszer infrastruktúráját használó szapporói és fukuokai tőzsdéken is le kellett állítani bizonyos részvény- és kötvényügyleteket.

A hiba elhárítása és a kereskedés újraindítása

A tőzsde és a Fujitsu szakemberei a délelőtt folyamán folyamatosan dolgoztak a probléma azonosításán és elhárításán. A helyzetet nehezítette, hogy nem egyszerű hardveres meghibásodásról volt szó. A számítógépes infrastruktúra működött, de a kereskedési rendszer nem tudta megfelelően feldolgozni a szükséges adatokat. A korábbi programverziók és az új változtatások közötti ellentmondás megszüntetése, valamint a hibás rendszerállapot helyreállítása jelentette a legfontosabb feladatot.

A korabeli eseménynaplók alapján a hiba okát a Fujitsu szakemberei délelőtt 11 óra 25 perc körül azonosították. A szükséges javítások 11 óra 40 perc körül készültek el, majd megkezdődött a kereskedési rendszer újbóli elindítása.

A részvénykereskedési rendszer 11 óra 49 percre, a kötvénykereskedési rendszer pedig 11 óra 59 percre állt fel.

A megbízások fogadása ezt követően fokozatosan újraindulhatott:

• 12:45 – megkezdődött a részvénymegbízások fogadása;

• 12:55 – újraindult a kötvénymegbízások fogadása;

• 13:30 – hivatalosan is megkezdődött a délutáni kereskedési szakasz.

A piac tehát négy és fél órás késéssel, helyi idő szerint délután fél kettőkor térhetett vissza a normál működéshez. A november 1-jei eset a tokiói tőzsde történetének első olyan eseménye volt, amikor valamennyi jegyzett részvény kereskedését teljes egészében fel kellett függeszteni.

A tartalék rendszer sem jelentett megoldást

Az incidens egyik legfontosabb tanulsága a tartalék informatikai rendszerek korlátozott védelmi képességével kapcsolatos. A tokiói tőzsde rendelkezett redundáns hardveres infrastruktúrával, vagyis bizonyos számítógépes berendezésekből tartalék példányok is rendelkezésre álltak. Ez normál esetben lehetővé tette volna, hogy egy hardverhiba esetén a működés a tartalék rendszeren folytatódjon.

A 2005. november 1-jei probléma azonban nem hardveres, hanem szoftveres eredetű volt. A tartalék rendszer ugyanazt a hibás szoftververziót használta, mint az elsődleges infrastruktúra. Emiatt az átkapcsolás sem oldotta volna meg a problémát: a tartalék rendszer is ugyanazzal a programhibával szembesült volna.

Ez különösen fontos tanulság volt a pénzügyi infrastruktúrák üzemeltetői számára. A hardveres redundancia önmagában nem biztosít teljes üzletmenet-folytonosságot, ha a kritikus szoftverekben ugyanaz a hiba található meg minden rendszerpéldányban.

A tőzsde vezetése ezért a későbbiekben a szoftverek tesztelésének, ellenőrzésének és a rendszerhibák esetén alkalmazható vészhelyzeti eljárásoknak az átalakítását is szükségesnek tartotta.

Hogyan reagált a pénzügyi piac?

A kereskedés leállása komoly bizonytalanságot okozott a befektetők körében. A tokiói tőzsde Ázsia egyik legfontosabb pénzügyi központja volt, így működésének felfüggesztése nemzetközi figyelmet kapott. A november 1-jei leállás különösen érzékeny időszakban történt. A japán gazdaságban és a részvénypiacon jelentős befektetői aktivitás volt tapasztalható, a kereskedési forgalom pedig folyamatosan növekedett.

A meghibásodás ellenére azonban a nap végére nem következett be általános piaci összeomlás. A Nikkei 225 index, amely a japán részvénypiac egyik legismertebb mutatója, a kereskedés újraindulását követően jelentős emelkedéssel zárta a napot.

A történtek hosszabb távú technológiai tanulságai

A 2005. november 1-jei tokiói tőzsdei leállás az informatikatörténet egyik fontos példája arra, hogy egy látszólag apró programozási vagy konfigurációs hiba milyen súlyos következményekkel járhat. Az eset több olyan problémára is rávilágított, amelyek napjainkban is meghatározóak a kritikus informatikai rendszerek üzemeltetésében.

1. A rendszerfrissítések kockázata

Egy új szoftververzió bevezetése nem tekinthető sikeresnek pusztán azért, mert a telepítés befejeződött. Ellenőrizni kell a régi és az új programrészek együttműködését, valamint azokat a működési helyzeteket is, amelyek csak később jelentkeznek.

2. A tesztelésnek a ritka eseményekre is ki kell terjednie

A tokiói tőzsde rendszere október közepétől október végéig látszólag hibátlanul működött. A probléma csak a hónap végi automatikus karbantartás után jelentkezett.

Ez azt mutatja, hogy a tesztelésnek nemcsak a napi működést, hanem a rendszeres karbantartási folyamatokat, az adatállományok áthelyezését és az újraindítási eljárásokat is vizsgálnia kell.

3. A tartalék rendszereknek valóban függetlennek kell lenniük

Ha az elsődleges és a tartalék rendszer ugyanazt a hibás szoftvert használja, akkor a redundancia nem biztosít teljes védelmet.

A kritikus pénzügyi infrastruktúráknál ezért a szoftveres hibákra is külön helyreállítási megoldásokat kell kidolgozni.

4. Egyértelmű felelősségi viszonyokra van szükség

A Fujitsu fejlesztőként, a tokiói tőzsde pedig megrendelőként és üzemeltetőként is érintett volt. Az eset rámutatott arra, hogy a fejlesztési dokumentáció, a módosítások jóváhagyása és a tesztelés felelősségi köreit pontosan kell meghatározni.

5. A pénzügyi infrastruktúra rendelkezésre állása nem pusztán informatikai kérdés

Egy tőzsde működése közvetlenül kapcsolódik a befektetők, bankok, vállalatok és más pénzügyi intézmények tevékenységéhez. Egy többórás leállás ezért túlmutat egyetlen informatikai részleg problémáján.