Chaîne de Markov
Une chaîne de Markov est un modèle stochastique de description d’une séquence d'événements possibles dans lesquelles la probabilité de chaque événement dépendent de seulement de l'état atteint dans le cas précédent.
Dans la théorie des probabilités et des domaines connexes, un processus de Markov, du nom du russe mathématicien Andrey Markov, est un processus stochastique qui satisfait t - il propriété de Markov (parfois qualifiée de « memorylessness »). En gros, un processus satisfait la propriété de Markov si on peut faire des prédictions pour le futur du processus en se basant uniquement sur son état actuel et en connaissant tout l'historique de ce processus, donc indépendamment de cette histoire, c'est-à-dire conditionnelle. sur l'état actuel du système, ses états futur et passé sont indépendants.
Une chaîne de Markov est un type de processus de Markov qui a soit un espace d'états discret , soit un ensemble d'index discret (représentant souvent ti me), mais la définition précise d'une chaîne de Markov varie. Par exemple, il est courant de définir une chaîne de Markov en tant que processus de Markov en temps discret ou continu avec un espace d'états dénombrable (donc indépendamment de la nature du temps), mais il est également courant de définir une chaîne de Markov comme ayant un temps discret dans un espace d'états dénombrable ou continu (donc sans tenir compte de l'espace d'états).
Markov a étudié les processus de Markov au début du XXe siècle et a publié son premier article sur le sujet en 1906. Les marches aléatoires basées sur des entiers et le problème de ruine du joueur sont des exemples de processus de Markov Certaines variations de ces processus ont été étudiées des centaines d'années auparavant dans le contexte de variables indépendantes Deux exemples importants de processus de Markov sont les processus de Wiener, également connu sous le mouvement brownien processus, et le processus de Poisson, qui sont considérés comme les plus impor tants et processus stochastiques central dans la théorie de processus stochastiques, et ont été découverts à plusieurs reprises et indépendamment, à la fois avant et après 1906, dans divers contextes. Ces deux processus sont des processus de Markov en temps continu, tandis que les marches aléatoires sur les entiers et le problème de ruine du joueur sont des exemples de processus de Markov en temps discret
Les chaînes de Markov ont de nombreuses applications comme des modèles statistiques des processus réels, comme l'étude des systèmes de contrôle de vitesse dans les véhicules automobiles, les files d’attente ou de lignes de clients qui arrivent à un aéroport, les taux de change des devises, les systèmes de stockage tels que les barrages et la croissance démographique de certaines espèces animales. L'algorithme connu sous le nom de PageRank, qui avait été initialement proposé pour le moteur de recherche Internet Google, est basé sur un processus de Markov.
Les processus de Markov sont à la base des méthodes de simulation stochastique générales connues sous le nom de Monte Carlo en chaîne de Markov, qui sont utilisées pour simuler l'échantillonnage à partir de distributions de probabilités complexes et ont trouvé une application étendue dans les statistiques bayésiennes
