|
Хронологія подій, пов'язаних з теорією інформації, стисненням даних, кодами корекції помилок і суміжних дисциплін:
· 1872 - Людвіг Больцман представляє свою H-теорема, а разом з цим формулу Σ p i log p i для ентропії однієї частки газу.
· 1878 - Джозайя Віллард Гіббс, визначає ентропію Гіббса: ймовірності у формулі ентропії тепер взяті як ймовірності стану цілої системи.
· 1924 - Гаррі Найквіст міркує про квантификации «Інтелекту» і швидкості, на якій це може бути передано системою комунікації.
· 1927 - Джон фон Нейман визначає фон Неймановская ентропію, розширюючи гиббсовской ентропію в квантовій механіці.
· 1928 - Ральф Хартлі представляє Формулу Хартлі, як логарифм числа можливих повідомлень, які містять інформацію, що передається, коли приймач (одержувач, ресивер) може відрізнити одну послідовність символів від будь-якої іншої (незалежно від будь-якого пов'язаного значення).
· 1929 - Лео Сцилард аналізує Демон Максвелла, показують, як двигун Szilard може іноді перетворювати інформацію в витяг корисної роботи.
· 1940 - Алан Тьюринг представляє deciban як одиницю виміру інформації в німецькій машині Енігма з настройками, зашифрованими процесом Banburismus.
· 1944 - теорія інформації Клод Шеннон в основному завершена.
· 1946 - Річард Хемминг представляє Код Хеммінга для виявлення помилок і їх виправлення.
· 1948 - Клод Шеннон публікує Математичну теорію зв'язку
· 1949 - Клод Шеннон публікує Передачу Інформації у вигляді шумів - приклад теорема Найквіста - Шеннона і закон Шеннон-Хартлей.
· 1949 - Розсекречена Теорія конфіденційності систем комунікації Клода Шеннона.
· 1949 - Дж. Голей вводить коди Голі для виправлення помилок методом попередження.
· 1950 - Річард Хемминг вводить коди Хеммінга для виправлення помилок методом попередження.
· 1951 - Девід Хаффман винаходить кодування Хаффмана, метод знаходження оптимальних префіксних кодів для стиснення даних без втрат.
· 1951 - Соломон Кульбак і Річард Леіблер вводять поняття розбіжності Кульбака-Леіблера.
· 1954 - Ірвінг С. Рід та Д.E. Мюллер вводить коди Ріда-Мюллера.
· 1955 - Пітер Еліас вводить свёрточние коди.
· 1957 - Юджин Прандж перший обговорює циклічний надлишковий код.
· 1959 - Радж Чандра Боуз і Двайджендра Камар Рей-Чоудхурі, і самостійно в наступному році Алексіс Хоквінгем, представляють коди Боуза-Чоудхурі-хоквінгема (БЧХ-коди).
· 1960 - Ірвінг С. Рід і Густав Соломон вводять коди Ріда-Соломона.
· 1962 - Роберт Галлагер пропонує код з малою щільністю перевірок на парність; їх не використовували протягом 30 років через технічні обмежень.
· 1967 - Ендрю Вітербо відкриває алгоритм Вітербо, що робить можливим декодування свёрточних кодів.
· 1968 - Елвін Берклекамп винаходить алгоритм Берлекемпа - Мессі; його застосування до розшифровки БЧХ-кодів і коду Ріда-Соломона, вказаний Джеймсом Мессі в наступному році.
· 1968 - Кріс Уолліс і Девід М. Бутон видають перший з багатьох доповідей про повідомленнях мінімальної довжини (СМД) - їх статистичний та індуктивний висновок.
· 1973 - Девід Слепіан і Джек Уолф відкривають і доводять код Слепіан-Уольфа, що кодує межі розподіленого джерела кодування.
· 1977 - Джома Райссанен патентує арифметичне кодування для IBM.
· 1977 - Абрахамом Лемпеля і Якоб Зів розвивають алгоритм стиснення Лемпеля-Зива (LZ77)
· 1982 - Готфілд Андебоек створює Trellis-модуляцію, піднімаючи швидкість аналогового модему старої звичайної телефонної служби від 9.6 кбіт / сек до 36 кбіт / сек.
· 1989 - Філ Катз створює .zip формат, включаючи формат стиснення DEFLATE (LZ77 + Huffman кодування); пізніше це стає найбільш широко використовуваним алгоритмом стиснення без втрат.
· 1993 - Клод Берроу, Алейн Главіукс і П.Сітімашімой вводять поняття Турбо-кодів.
· 1993 - Майкл Барроуз і Девід Уілер публікують теорію перетворення Барроуза-Уїлера, яка далі знайде своє застосування в bzip2.
Внесок вітчизняних вчених в теорію інформації
· Поняття марковської ланцюга належить російському математику А. А. Маркову, чиї перші статті з цього питання при вирішенні лінгвістичних проблем були опубліковані в 1906-1908
· 1933 - Академіком В. А. Котельниковим в була доведена знаменита теорема відліків.
· 1947 - В. А. Котельниковим створена теорія потенційної завадостійкості. Теорія потенційної завадостійкості давала можливість синтезу оптимальних пристроїв обробки будь-яких сигналів в присутності перешкод. Вона мала два розділи - теорія прийому дискретних і аналогових сигналів.
· 1948-1949 - Основи Інформаційної теорії були закладені американським вченим Клодом Шенноном. В її теоретичні розділи внесений вклад радянським ученими А. Н. Колмогоровим і А. Я. Хінчіним, а в розділи, дотичні з застосуваннями, - В. А. Котельниковим, А. А. Харкевичем і ін.
· 1950 - При порівнянні конкретних кодів з оптимальними широко використовуються результати Р. Р. Варшамова. Цікаві нові кордони для можливостей виправлення помилок встановлені В. І. Левенштейн і В. М. Сидельниковим.
· 1956 - Були потрібні роботи математичного рівня, котрі закладають математичний фундамент теорії інформації. Завдання було вирішена відомим доповіддю А. Н. Колмогорова на сесії АН СРСР, присвяченій автоматизації виробництва. Перші піонерські роботи А. Я. Хинчина були присвячені доказу основних теорем теорії інформації для дискретного випадку.
· 1957 - при дослідженні А. Н. Колмогоровим знаменитої проблеми Гільберта про суперпозицію він не тільки показав можливість подання будь-якої неперервної функції у вигляді суперпозиції неперервних самих функцій трьох змінних, але і створив метод, що дозволив його учневі В. І. Арнольду знизити число змінних до двох і тим самим вирішити згадану проблему.
· 1958 - А. Н. Колмогоров. Новий метричний інваріант транзитивних динамічних систем і автоморфізмів просторів Лебега.- ДАН СРСР. Дуже важливі і плідні можливості застосування поняття ентропії до проблеми ізоморфізму динамічних систем.
· 1958 - Доповідь І. М. Гел'фанда, А. Н. Колмогоровим, А. М. Яглом «Кількість інформації і ентропія для безперервних розподілів» .- В кн .: Тр. III Бсесоюз.мат. з'їзду. М .: Изд-во АН СРСР.
Відзначимо також роботи китайського вченого Ху Го Діна, стажувався в той час в Московському університеті.
· 1961 - Ху Го Дін. Три зворотні теореми до теоремі Шеінона в теорії інформації.
· 1962 - Ху Го Дін. Про інформаційну стійкості послідовності каналів. Теорія ймовірностей і її застосування.
· 1965 - вийшов перший номер журналу «Проблеми передачі інформації», створеного за ініціативою А. А. Харкевича.
· 1966 - Стратонович Р. Л., Гришанін Б. А. «Цінність інформації при неможливості прямого спостереження оцінюваної випадкової величини».
· 1968 - Стратонович Р. Л., Гришанін Б. А. «Ігрові завдання з обмеженнями інформаційного типу».
· В кінці 1960-x Розроблено Теорія Вапніка-Червоненкіса, статистична теорія відновлення залежностей, розроблена В. Н. Вапніка і А. Я. Червоненкіса
· 1972 - сольовий В. Н. Про середньому на одиницю часу кількості інформації, що міститься в одному гауссовский стаціонарному процесі щодо іншого.
Джерело: http://ru.wikipedia.org/wiki/Хронология_развития_теории_информации
|