Information

La théorie de l'information fournit une mesure quantitative de la notion d'information apportée par un message (ou une observation).

Une information désigne, parmi un ensemble d'événements, un ou plusieurs événements possibles.

En théorie, l'information diminue l'incertitude. En théorie de la décision, on considère même qu'il ne faut appeler information que ce qui est susceptible d'avoir un effet sur nos décisions (peu de choses dans un journal sont à ce compte des informations...).

En pratique, l'excès d'information, tel qu'il se présente dans les systèmes de messagerie électronique, peut aboutir à une saturation, et empêcher la prise de décision.

Cette notion fut introduite par Claude Shannon en 1948 afin d'étudier les limites du possible en matière de compression de données et de transmission d'informations au moyen de canaux bruités. Elle a trouvé depuis lors de nombreuses applications en télécommunications, en informatique et en statistique notamment.

Elle se préoccupe de decrire des systèmes d'information, des systèmes de communication et de leur efficacité. La notion de système d'information ou de communication étant large, il en va de même de la théorie de l'information.

Parmi les branches importantes, on peut citer :

• le codage de l'information,
• la mesure quantitative de redondance d'un texte,
• la compression de données,
• la cryptographie.

La force de cette théorie est de ne pas chercher à définir la notion d'information, tout comme l'arithmétique ne définit pas ce qu'est un nombre.

L'apparition de la théorie de l'information est liée à l'apparition de la psychologie cognitive dans les années 1940 - 1950.

Elle traite , en fonction des domaines logiques formels qu'elle aborde :

- Des limites ultimes pour la télécommunication

- Des théorèmes limites et environnements rares pour la théorie de la relativité

- Des écarts types issus des tests de fisher pour les statistiques

- De la théorie des jeux et des portefeuilles pour l'économie et la politique

- Des propriétés des inégalités pour les mathématiques

- De la complexité de Kolmogorov pour l'informatique théorique

- De la thermodynamique pour la physique

Elle permettra le developpement massif des systèmes de communication automatisés par le biais de Norbert Wiener et la cybernetique.

Grace à l'évolution de la robotique et de l'informatique, la science développée par Wiener atteindra son apogée au travers la systemique.