Information Measures in Perspective

P>Information-theoretic methodologies are increasingly being used in various disciplines. Frequently an information measure is adapted for a problem, yet the perspective of information as the unifying notion is overlooked. We set forth this perspective through presenting information-theoretic methodologies for a set of problems in probability and statistics. Our focal measures are Shannon entropy and Kullback-Leibler information. The background topics for these measures include notions of uncertainty and information, their axiomatic foundation, interpretations, properties, and generalizations. Topics with broad methodological applications include discrepancy between distributions, derivation of probability models, dependence between variables, and Bayesian analysis. More specific methodological topics include model selection, limiting distributions, optimal prior distribution and design of experiment, modeling duration variables, order statistics, data disclosure, and relative importance of predictors. Illustrations range from very basic to highly technical ones that draw attention to subtle points.Resume Les methodologies issues de la Theorie de l'Information sont de plus en plus frequemment appliquees dans des disciplines diverses. Tres souvent, cependant, lorsqu'une mesure d'information est adaptee a un probleme donne, les perspectives unificatrices de la theorie dont elle est issue sont negligees. Nous exposons ici ces perspectives pour un ensemble de problemes rencontres en probabilite et en statistique. L'accent est mis sur l'entropie de Shannon et l'information de Kullback-Leibler. Les notions de base sur lesquelles s'appuient ces deux mesures comprennent les notions d'incertitude et d'information, leurs fondements axiomatiques, leur interpretation, leurs proprietes et leurs generalisations. Les applications visees sont, entre autres, les discordances entre lois de probabilites, la construction de modeles probabilistes, les mesures de dependance entre variables, et l'analyse bayesienne. De facon plus specifique, ces applications se rencontrent en selection de variables, l'etude de lois-limites, la caracterisation de lois a priori et de plans d'experiences optimaux, la modelisation des durees de vie, l'utilisation des statistiques d'ordre, et les performances relatives de predicteurs. Les illustrations vont des problemes les plus simples aux plus techniques, et permettent d'attirer l'attention sur certains points particulierement subtils.