Хронология событий, связанных с теорией информации, сжатием данных, кодами коррекции ошибок и смежных дисциплин:
- 1872 — Людвиг Больцман представляет свою H-теорема, а вместе с этим формулу Σpi log pi для энтропии одной частицы газа.
- 1878 — Джозайя Уиллард Гиббс, определяет энтропию Гиббса: вероятности в формуле энтропии теперь взяты как вероятности состояния целой системы.
- 1924 — Гарри Найквист рассуждает о квантификации «Интеллекта» и скорости, на которой это может быть передано системой коммуникации.
- 1927 — Джон фон Нейман определяет фон Неймановскую энтропию, расширяя Гиббсовскую энтропию в квантовой механике.
- 1928 — Ральф Хартли представляет Формулу Хартли как логарифм числа возможных сообщений, с информацией, передаваемой, когда приёмник (получатель, ресивер) может отличить одну последовательность символов от любой другой (независимо от любого связанного значения).
- 1929 — Лео Сцилард анализирует Демон Максвелла, показывают, как двигатель Szilard может иногда преобразовывать информацию в извлечение полезной работы.
- 1940 — Алан Тьюринг представляет deciban как единицу измерения информации в немецкой машине Энигма с настройками, зашифрованными процессом Banburismus.
- 1944 — теория информации Клода Шеннона в основном завершена.
- 1946 — Ричард Хемминг представляет Код Хемминга для обнаружения ошибок и их исправления.
Вклад отечественных ученных в теорию информации
- 1947 — В. А. Котельниковым создана теория потенциальной помехоустойчивости. Теория потенциальной помехоустойчивости давала возможность синтеза оптимальных устройств обработки любых сигналов в присутствии помех. Она имела два раздела — теория приема дискретных и аналоговых сигналов.
- 1956 — Были нужны работы математического уровня, закладывающие математический фундамент теории информации. Задача была решена известным докладом А. Н. Колмогорова на сессии АН СССР, посвященной автоматизации производства. Первые пионерские работы А. Я. Хинчина были посвящены доказательству основных теорем теории информации для дискретного случая.
- 1957 — при исследовании А. Н. Колмогоровым знаменитой проблемы Гильберта о суперпозициях он не только показал возможность представления любой непрерывной функции в виде суперпозиции непрерывных же функций трех переменных, но и создал метод, позволивший его ученику В. И. Арнольду понизить число переменных до двух и тем самым решить упомянутую проблему.
- 1958 — А. Н. Колмогоров. Новый метрический инвариант транзитивных динамических систем и автоморфизмов пространств Лебега.— ДАН СССР. Очень важные и плодотворные возможности применения понятия энтропии к проблеме изоморфизма динамических систем.
Отметим также работы китайского ученого Ху Го Дина, стажировавшегося в то время в Московском университете.
- 1961 — Ху Го Дин. Три обратные теоремы к теореме Шеинона в теории информации.
- 1962 — Ху Го Дин. Об информационной устойчивости последовательности каналов. Теория вероятностей и её применения.
- 1965 — вышел первый номер журнала «Проблемы передачи информации», созданного по инициативе А. А. Харкевича.
- 1966 — Стратонович Р. Л., Гришанин Б. А. « Ценность информации при невозможности прямого наблюдения оцениваемой случайной величины».
- 1968 — Стратонович Р. Л., Гришанин Б. А. «Игровые задачи с ограничениями информационного типа».
- В конце Теория Вапника-Червоненкиса, статистическая теория восстановления зависимостей, разработанная В. Н. Вапником и А. Я. Червоненкисом
- 1972 — Солев В. Н. О среднем на единицу времени количестве информации, содержащейся в одном гауссовском стационарном процессе относительно другого.