Ce travail trouve son origine dans les travaux de J.Glover, M.Rao, H.Sikic, R.Song en 1994 et J.Glover, Z.Pop-Stojanovic, M.Rao, H.Sikic, R.Song, Z.Vondra ek en 2004. Dans le premier chapitre, nous rappelons quelques notions fondamentales de probabilité et nous présentons quelques résultats concernant les processus de Markov...