Markovproces

Uit Wikipedia, de vrije encyclopedie
Ga naar: navigatie, zoeken

In de kansrekening is een Markovproces een stochastisch proces dat de Markoveigenschap heeft, wat inhoudt dat het verleden irrelevant is om de toekomst te voorspellen wanneer men het heden kent. Het proces is genoemd naar de Russische wiskundige Andrej Markov, die de basis legde voor een grondige studie van dergelijke processen.

Definitie[bewerken]

Een stochastisch proces (X_t,\,t\in T) heet Markov-proces, als het de Markoveigenschap heeft, wat inhoudt dat voor alle n, t_1<t_2<\ldots<t_n en c_1 ,c_2,\ldots,c_n geldt:

P(X_{t_n}=c_n | X_{t_1}=c_1,X_{t_2}=c_2,\ldots,X_{t_{n-1}}=c_{n-1})=P(X_{t_n}=c_n |X_{t_{n-1}}=c_{n-1})

De verzameling T heet parameterruimte en het waardenbereik X(T) toestandsruimte.

Het proces beschrijft de toestand X_t van een systeem op het tijdstip t. De Markoveigenschap luidt in woorden: de voorwaardelijke kans om het systeem op een tijdstip t_n aan te treffen in de toestand c_n gegeven de toestanden waarin het systeem zich op een willekeurig aantal voorgaande tijdstippen bevond, is alleen afhankelijk van de toestand c_{n-1} op het laatst gegeven tijdstip.


Men onderscheidt Markov-processen met

  • discrete parameterruimte, meestal als discrete tijd aangeduid
  • continue parameterruimte

en

  • eindige toestandsruimte
  • aftelbaar oneindige toestandsruimte
  • overaftelbare toestandsruimte


Een Markovproces in discrete tijd en met eindige toestandsruimte heet een Markov-keten. Ook als de toestandsruimte niet eindig is, maar wel aftelbaar en discreet spreekt men wel van een Markov-keten. Zelfs wordt wel ieder Markov-proces in discrete tijd als keten aangeduid.