A rendszerek időbeli változását különböző eszközökkel adhatjuk meg, erre szolgálnak pl. a differenciálegyenletek. Ha azonban még a véletlenszerűséget is bevesszük, akkor bonyolultabb módszereket kell alkalmazni. Ebben a részben nem célunk a precíz matematikai tárgyalásmód, ezt nehezen is tudnánk megtenni hiszen ennek a témának nagyon szerteágazó területei vannak és a jegyzet célja nem a véletlen folyamatok ismertetése. A Markov-folyamatok legegyszerűbb osztályát vezetjük be, melyekre később a sorbanállási rendszerek vizsgálatánál szükségünk lesz. Bőséges nyomtatott és digitális irodalom áll az olvasó rendelkezésére, említésképpen felsorolunk néhányat: Allen [ 2 ], Gnyedenko, Beljajev, Szolovjev [ 24 ], Kleinrock [ 41 ], Ovcharov [ 51 ], Sztrik [ 67 ], Trivedi [ 78 ] Tijms [ 75 ]. Jelen fejezetben a gyakorlat szempontjából egyik legfontosabb sztochasztikus-folyamattal foglalkozunk, vagyis amikor minden időpillanathoz egy értékeket felvevő valószínűségi változót rendelünk. Hogy megmutassuk milyen kapcsolat van az egyes időpillanatban felvett értékek között, a jövő és a múlt viszonyát írjuk fel matematikai formában. Az egyik legegyszerűbb kapcsolat, amit leegyszerűsítve úgy mondunk, hogy a jövő a múlttól csak a jelenen keresztül függ, az alábbi tulajdonság.

5.1. Definíció. (Markov-tulajdonság) Ha fennáll minden n-re és a változók összes lehetséges értékére, hogy

akkor az folyamatot Markov-láncnak nevezzük.

Jelöljük a valószínűséget -vel, míg időben homogén esetben -val. A formula azt jelenti, hogy idő alatt az állapotból a állapotba megy át a folyamat.

Nyilván

Hogy az állapotvalószínűségek időbeli változását felírjuk szükségünk van az átmenetvalószínűségek ismeretére, hiszen a teljes valószínűség tételét szeretnénk használni. Ezért vezetjük be a következő definíciót

5.2. Definíció. (Intenzitás-mátrix) Jelöljük Q-val a a folyamathoz tartozó intenzitás-mátrixot, melynek elemei és őket az alábbi módon értelmezzük

Vagyis az átmenetvalószínűségek

Ezek után az állapotegyenleteket akarjuk felírni, melyhez szükségünk lesz a már jól megszokott jelölésre, azaz, legyen

Ekkor az állapotegyenleteink a következők

Ezek átírhatóak az alábbi formákba

Ebből határértéket véve a keresett differenciálegyenlet-rendszer

Egyensúlyi (stacionárius) eloszlás

Mint már biztosan észrevettük az előző viszonylag egyszerű példák min speciális esetei ennek az általános egyenletrendszernek. Láttuk, hogy időtől függő megoldásuk eléggé bonyolult és sokszor zárt alakban nem is adható meg, de numerikusan esetleg meghatározhatjuk őket. Hogy jól használható formulákat kapjunk lemondunk az időtől való függésről és csak a határeloszlásra felírt egyenletek érdekelnek bennünket.

Nevezetesen a határátmenet végrehajtása után a stacionárius esetben az állapotegyenletek a következők

A modellezésnél bevezetett folyamatokról el kell döntenünk, hogy melyik osztályba tartoznak, mert azután a rájuk vonatkozó tételeket tudjuk alkalmazni. Mivel a Markov-láncok elmélete a legjobban kidolgozott, a gyakorlat szempontjából legérthetőbben tudjuk kezelni problémáinkat, nagyon hasznos az alábbi, bizonyítás nélkül közölt tétel.

5.3. Tétel. Az akkor és csak akkor folytonos idejű Markov-lánc, ha bármely állapotban a tartózkodási ideje paraméterű exponenciális eloszlású valószínűségi változó.

5.1. 5.1. Születési-halálozási folyamatok

További egyszerűsítést jelent, ha a folyamat csak szomszédos állapotokba mehet. Ezt az esetet írják le az alábbi speciális intenzitások

Ekkor a -ket születési, míg -ket halálozási intenzitásoknak nevezzük. Ekkor az egyenletek is egyszerűsödnek, nevezetesen

Ezekből egyensúlyi helyzetben az alábbit nyerjük

Ezen egyenletrendszer megoldásához vegyük észre, hogy minden -re igaz a

összefüggés hiszen könnyen látható, hogy

Ezen tulajdonság felhasználásával rögtön kapjuk, hogy

így

amely nagy szerepet játszik majd különböző sorbanállási rendszerek modellezésében.

Végtelen számosságú állapottér esetén a normalizáló feltételt biztosító összegzés nem biztos, hogy konvergens sort ad, ezért annak konvergenciáját biztosítanunk kell, és ezután a megoldás egyértelmű lesz.

Erre nézzük meg az alábbi egyszerű példát!

Legyen és .

Ekkor

ami pontosan akkor konvergál ha .

Tiszta születési-folyamat

Ha és , akkor tiszta születési-folyamatról beszélünk és akkor a már jól ismert Poisson-folyamatra vonatkozó differenciálegyenlet-rendszert kapjuk