Bienvenidos a las cadenas de Markov
A continuación nos adentraremos en el mundo de las cadenas de Markov. En este caso empezamos con un ejemplo muy senzillo.
Podríamos empezar a jugar con las típicas máquinas tragaperras. Y cada vez que perdieramos en una de ellas tendríamos que pasar a jugar con la siguiente máquina. Si tenemos tres máquinas cada una tendrá una probabilidad distinta de ganar, en este caso la probabilidad de que gane la máquina 1 es de 0,5, de que gane la máquina 2 es de 0,3 y de que gane la máquina 3 es de 0,2. Con lo cual se cambiará de máquina de forma distinta dependiendo en la que nos encontremos.
Si queremos cambiar la probabilidad de ganar en cada máquina la podemos elegir en las listas y seleccionar aquella que sea la deseada
Pero ya que estamos dispuestos a jugar para entender las cadenas de markov, podemos elegir con que máquina empezamos a jugar o que la elección de ésta, sea totalmente aleatoria.
Una vez se elige con que máquina empezar a jugar, se puede elegir cual es la probabilidad de ganar en cada una de las máquinas seleccionando la deseada en color azul.
Este juego se puede representar como una cadena de Markov de tres estados tal y como se puede ver en la siguiente figura
Con lo cual la matriz de transición es
Si se empieza a jugar en la máquina 1 ¿Qué probabilidad se tiene de jugar en la máquina 3 en el momento 5?
En la próxima aplicación se puede ver las diferentes posibilidades que hay de llegar a la máquina 3 en el quinto paso desde la máquina 1, paso a paso.
Esta probabilidad se puede calcular con la diguiente fórmula:
Existe un vector de distribución estacionaria si verifica
Existe también un vector de tiempo medio de recurrencia que corresponde a
La última aplicación muestra las probabilidades estacionarias dependiendo de las probabilidades de ganar en cada máquina. También se ve cuantas veces estaria el juego en cada máquina en un número finito de interacciones y el tiempo medio de recurrencia de las distintas máquinas.