{"id":521,"date":"2016-03-06T03:38:58","date_gmt":"2016-03-06T02:38:58","guid":{"rendered":"http:\/\/lecture.jose-marcio.org\/blog\/?p=521"},"modified":"2020-11-24T15:32:39","modified_gmt":"2020-11-24T14:32:39","slug":"solomon-kullback-information-theory-and-statistics","status":"publish","type":"post","link":"https:\/\/lecture.jose-marcio.org\/blog\/2016\/03\/06\/solomon-kullback-information-theory-and-statistics\/","title":{"rendered":"Solomon Kullback, \u00ab\u00a0Information Theory and Statistics\u00a0\u00bb"},"content":{"rendered":"

Une r\u00e9f\u00e9rence historique<\/h2>\n

\"\"J’ai h\u00e9sit\u00e9 \u00e0 montrer mon int\u00e9r\u00eat pour ce livre. En fait, \u00e7a d\u00e9pend de \u00e0 quoi il peut servir. Pour moi il vaut cinq \u00e9toiles.<\/span><\/p>\n

Tout d’abord, si ce que vous int\u00e9resse est le sujet du livre – Th\u00e9orie de l’Information et Statistiques<\/em> – que vous soyez d\u00e9butant ou pas, il y a plein de livres plus r\u00e9cents, de lecture plus abordable et de contenu plus actuel. N’achetez pas ce livre si vous \u00eates dans ce cas.<\/span><\/p>\n

L’int\u00e9r\u00eat est historique. Ce livre a \u00e9t\u00e9 \u00e9crit dans les ann\u00e9es 50, il y a plus de 60 ans. A l’\u00e9poque, le papier s\u00e9minal de C.E. Shannon<\/em> sur la Th\u00e9orie d’Information avait moins de 10 ans.<\/span><\/p>\n

Kullback<\/em> a \u00e9t\u00e9 un des premiers \u00e0 formaliser les liens entre la Th\u00e9orie de l’Information et les Statistiques, notamment avec avec la \u00ab\u00a0Divergence de Kullback-Leibler\u00a0\u00bb<\/em>, une mesure permettant de comparer des distributions de probabilit\u00e9, utilis\u00e9e dans plusieurs applications en statistiques ou apprentissage artificielle.
\n<\/span><\/p>\n

Ce livre nous ram\u00e8ne \u00e0 l’\u00e9tat de l’art de la discipline dans les ann\u00e9es 50, avec une pr\u00e9sentation rigoureuse et claire de sa d\u00e9marche. C’est un livre tr\u00e8s int\u00e9ressant surtout pour ceux qui ont d\u00e9j\u00e0 une connaissance du domaine et souhaitent se plonger dans les travaux de Kullback<\/em>.
\n<\/span><\/p>\n

Solomon Kullback<\/em> est un de ceux qui ont fait une contribution significative \u00e0 la fois \u00e0 la Th\u00e9orie d’Information et aux Statistiques. Il n’est pas \u00e9tonnant d’apprendre que, comme Shannon, Turing et autres, il a travaill\u00e9 sur des probl\u00e8mes de cryptanalyse pendant la deuxi\u00e8me guerre.
\n<\/span><\/p>\n

Donc, c’est surtout pour l’int\u00e9r\u00eat historique et pour l’importance de la contribution de ce livre \u00e0 la discipline. <\/span><\/p>\n","protected":false},"excerpt":{"rendered":"

Une r\u00e9f\u00e9rence historique J’ai h\u00e9sit\u00e9 \u00e0 montrer mon int\u00e9r\u00eat pour ce livre. En fait, \u00e7a d\u00e9pend de \u00e0 quoi il peut servir. Pour moi il vaut cinq \u00e9toiles. Tout d’abord, si ce que vous int\u00e9resse est le sujet du livre<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[17,19],"tags":[],"class_list":["post-521","post","type-post","status-publish","format-standard","hentry","category-lecture","category-sciences","comments-off"],"_links":{"self":[{"href":"https:\/\/lecture.jose-marcio.org\/blog\/wp-json\/wp\/v2\/posts\/521","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/lecture.jose-marcio.org\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/lecture.jose-marcio.org\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/lecture.jose-marcio.org\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/lecture.jose-marcio.org\/blog\/wp-json\/wp\/v2\/comments?post=521"}],"version-history":[{"count":0,"href":"https:\/\/lecture.jose-marcio.org\/blog\/wp-json\/wp\/v2\/posts\/521\/revisions"}],"wp:attachment":[{"href":"https:\/\/lecture.jose-marcio.org\/blog\/wp-json\/wp\/v2\/media?parent=521"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/lecture.jose-marcio.org\/blog\/wp-json\/wp\/v2\/categories?post=521"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/lecture.jose-marcio.org\/blog\/wp-json\/wp\/v2\/tags?post=521"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}