Information Theory and Statistics (Dover Books on Mathematics)

It’s a basic book. Great conceptually. Not that useful on practical problems.

Appears well written and thorough, heavy with citations and formulae. Assumes from the start a familiarity with some that I was unfamiliar with (sigma-algebra and Borel field). I got scared off pretty quickly, and as such am not really qualified to review this book.The three stars are for the publisher's failure to relay this to me. Admittedly, nothing about the Amazon page indicated that it was an introductory text, but it had general enough sounding title that I expected my undergraduate math education to be sufficient prerequisite understanding, which it wasn't.The preface states that "the subject of this book is the study of logarithmic measures of information and their application to the testing of statistical hypotheses". At the very least, this should have been on the Amazon page so I knew what I was getting into. Page previews would have been better.

no better text on the topic.

good

This is a very well written text by Kullback. Kullback is well known for the famous Kullback-Liebler information measure of distance between distribution functions. This was the first statistics text to cover statistical methods from the information theory viewpoint and now stands as a classic. For more recent developments see the text by Cover and Thomas. Rissanen also has an interesting book that shows how he used information theory ideas in model selection problems. Information theory goes back to Claude Shannon and others who worked on problems of encoding information for efficient transmission (particularly early telephone applications). This has been very important in electronic communications and is growing in use with modern satellite transmissions and the growing use of computer networks.

It has listed almost all the results of information and statistics before 1958. The strange thing is that since then there are no breakthrough in that area and few people concentrating in that area.

The book is must for those who work on information theory and statistics. Good, in my opinion, for master level and above.

It's a work of art. Not for beginners.

J'ai hesité à attribuer cinq étoiles à ce livre. En fait, ça dépend de pourquoi ce livre vous intéresse. Pour moi il vaut les cinq étoiles.Tout d'abord, si ce que vous intéresse est le sujet du livre - Théorie de l'Information et Statistiques - que vous soyez débutant ou pas, il y a plein de livres plus récents, plus abordables et de contenu plus actuel. N'achetez pas ce livre si vous êtes dans ce cas.L'intérêt est historique. Ce livre a été écrit dans les années 50, il y a plus de 60 ans. A l'époque, le papier seminal de C.E. Shanon sur la Théorie d'Information avait moins de 10 ans.Kullback a été un des premiers à formaliser les liens entre la Théorie de l'Information et les Statistiques, notament avec avec la "Divergence de Kullback-Leibler", une mesure permettant de comparer des distributions de probabilité, utilisée dans plusieurs applications en statistiques ou apprentissage artificielle.Ce livre nous ramène à l'état de l'art de la discipline dans les années 50, avec une présentation rigoureuse et claire de sa démarche. C'est un livre très intéressant surtout pour ceux qui ont déjà une connaissance du domaine et souhaitent se plonger dans les travaux de Kullback.Solomon Kullback est un de ceux qui ont fait une contribution significative à la fois à la Théorie d'Information et aux Statistiques. Il n'est pas étonnant d'apprendre que, comme Shannon, Turing et autres, il a travaillé sur des problèmes de cryptoanalyse pendant la deuxième guerre.Donc, c'est surtout pour l'intérêt historique et pour l'importance de la contribution de ce livre à la discipline que je donne cinq étoiles.

This is an essential book for the study of Relative Entropy. It is the original.

The book is great, but the quality of print is bad.