Exercice Bonus – Entropie du français Article Le Monde
Dans l'article « La théorie mathématique de l'information a 25 ans » (Le Monde, 12 décembre 1973, Maurice Arvonny), l'auteur explique qu'en prenant 27 symboles (26 lettres + l'espace, ponctuation négligée), on a :
- Entropie max si tout est équiprobable : log2(27) ≈ 4,75 bits/symbole.
- Puis il écrit : « En tenant compte des fréquences moyennes des lettres en français, on trouve une entropie de 3.98 bits par symbole ».
- Il précise juste après que c'est « une valeur excessive » car cela ne tient pas compte des corrélations entre lettres, puis donne un ordre de grandeur ≈ 1 bit/symbole pour un texte français (entropie « avec dépendances »).
Comment l'interpréter
Le 3,98 bits/symbole correspond à l'entropie « lettre par lettre » basée sur les fréquences marginales (souvent notée H1), pas à l'entropie de la langue avec dépendances.
Formule en ln :
H = -∑i pi log2(pi) = - 1 / ln(2) ∑i pi ln(pi)
