Теория информации

Р.Л.Стратонович ТЕОРИЯ ИНФОРМАЦИИ М., «Сов. радио», 1975, 424 с.

Книга посвящена одному из главных направлений теоретической кибернетики. Дается систематическое изложение важнейших, ставших уже традиционными, результатов шенноновской теории информации, а также ряда новых вопросов, разработанных автором. К числу последних относятся теория ценности хартлиевского, больцмановского и шенноновского количеств информации, аппарат потенциальных функций, использующий параметры типа «температуры». Подчеркивается общность математического аппарата теории информации и статистической термодинамики. Содержание книги сгруппировано в соответствии с тремя вариационными задачами, характерными для теории информации. Автор является крупным специалистом по случайным процессам, математической статистике и теории информации. Он опубликовал более ста оригинальных статей и три монографии. Книга рассчитана на научных работников — специалистов в области кибернетики и статистической теории связи, а также аспирантов и студентов высших учебных заведений. Оглавление Предисловие 3 Введение 5 Глава 1. ОПРЕДЕЛЕНИЕ ИНФОРМАЦИИ И ЭНТРОПИИ ПРИ 9 ОТСУТСТВИИ ПОМЕХ § 1.1. Определение энтропии в случае равновероятных возможностей 11 § 1.2. Энтропия в случае неравновероятных возможностей и ее свойства 13 § 1.3. Условная энтропия. Свойство иерархической аддитивности 16 § 1.4. Асимптотическая эквивалентность неравновероятных возможностей 21 равновероятным § 1.5. Асимптотическая равновероятность и энтропийная устойчивость 25 § 1.6. Определение энтропии непрерывной случайной величины 30 § 1.7. Свойства энтропии в обобщенной версии. Условная энтропия 37 Глава 2. КОДИРОВАНИЕ ДИСКРЕТНОЙ ИНФОРМАЦИИ ПРИ 43 ОТСУТСТВИИ ПОМЕХ И ШТРАФОВ § 2.1. Основные принципы кодирования дискретной информации 44 § 2.2. Основные теоремы для кодирования без помех. Равнораспределенные 48 независимые сообщения § 2.3. Оптимальное кодирование по Хуфману. Примеры 53 § 2.4. Погрешности кодирования без помех при конечной длине записи 57 Глава 3. КОДИРОВАНИЕ ПРИ НАЛИЧИИ ШТРАФОВ. ПЕРВАЯ 61 ВАРИАЦИОННАЯ ЗАДАЧА § 3.1. Прямой способ вычисления информационной емкости записи для 62 одного примера § 3.2. Дискретный канал без помех и его пропускная способность 64 § 3.3. Решение первой вариационной задачи. Термодинамические 67

параметры и потенциалы § 3.4. Примеры применения общих методов вычисления пропускной способности § 3.5. Метод потенциалов в случае большего числа параметров § 3.6. Пропускная способность канала без шумов со штрафами в обобщенной версии Глава 4. ПЕРВАЯ АСИМПТОТИЧЕСКАЯ ТЕОРЕМА И СВЯЗАННЫЕ С НЕЙ РЕЗУЛЬТАТЫ § 4.1. Потенциал Г или производящая функция семиинвариантов § 4.2. Некоторые асимптотические результаты статистической термодинамики. Устойчивость канонического распределения § 4.3. Асимптотическая эквивалентность двух видов ограничений § 4.4. Некоторые теоремы, касающиеся характеристического потенциала Глава 5. ВЫЧИСЛЕНИЕ ЭНТРОПИИ ДЛЯ ЧАСТНЫХ СЛУЧАЕВ. ЭНТРОПИИ СЛУЧАЙНЫХ ПРОЦЕССОВ § 5.1. Энтропия отрезка стационарного дискретного процесса и удельная энтропия § 5.2. Энтропия марковской цепи § 5.3. Удельная энтропия части компонент дискретного марковского процесса и условного марковского процесса § 5.4. Энтропия гауссовых случайных величин § 5.5. Энтропия стационарной последовательности. Гауссова последовательность § 5.6. Энтропия случайных процессов в непрерывном времени. Общие понятия и соотношения § 5.7. Энтропия гауссового процесса в непрерывном времени § 5.8. Энтропия точечного случайного процесса § 5.9. Энтропия дискретного марковского процесса в непрерывном времени § 5.10. Энтропия диффузионных марковских процессов § 5.11. Энтропия комбинированного марковского процесса, условного процесса и части компонент марковского процесса Глава 6. ИНФОРМАЦИЯ ПРИ НАЛИЧИИ ПОМЕХ. ШЕННОНОВСКОЕ КОЛИЧЕСТВО ИНФОРМАЦИИ § 6.1. Потери информации при вырожденных преобразованиях и при простых помехах § 6.2. Информация связи дискретных случайных величин § 6.3. Условная информация. Иерархическая аддитивность информации § 6.4. Количество информации связи в общем случае § 6.5. Информация связи гауссовых величин § 6.6. Удельная информация стационарных и стационарно связанных процессов. Гауссовы процессы § 6.7. Информация связи компонент марковского процесса Глава 7. ПЕРЕДАЧА СООБЩЕНИЙ ПРИ НАЛИЧИИ ПОМЕХ. ВТОРАЯ АСИМПТОТИЧЕСКАЯ ТЕОРЕМА В РАЗЛИЧНЫХ

73 79 82 84 85 89 96 101 109 110 114 120 129 134 141 144 152 162 165 170 181 181 186 189 195 198 205 212 226

ФОРМУЛИРОВКАХ § 7.1. Принципы передачи и приема информации при наличии помех § 7.2. Случайный код и средняя вероятность ошибки § 7.3. Асимптотическая безошибочность декодирования. Теорема Шеннона (вторая асимптотическая теорема) § 7.4. Асимптотическая формула для вероятности ошибки § 7.5. Усиленные оценки для оптимального декодирования § 7.6. Некоторые общие соотношения между энтропиями и взаимными информациями при кодировании и декодировании Глава 8. ПРОПУСКНАЯ СПОСОБНОСТЬ КАНАЛОВ. ВАЖНЫЕ ЧАСТНЫЕ СЛУЧАИ КАНАЛОВ § 8.1. Определение пропускной способности каналов § 8.2. Решение второй экстремальной задачи. Соотношения для пропускной способности и потенциала § 8.3. Вид оптимального распределения и статистическая сумма § 8.4. Симметричные каналы § 8.5. Двоичные каналы § 8.6. Гауссовы каналы § 8.7. Стационарные гауссовы каналы § 8.8. Аддитивные каналы Глава 9. ОПРЕДЕЛЕНИЕ ЦЕННОСТИ ИНФОРМАЦИИ § 9.1. Уменьшение средних штрафов при уменьшении неопределенности § 9.2. Ценность хартлиевского количества информации. Пример § 9.3. Определение ценности шенноновского количества информации и aинформации § 9.4. Решение третьей вариационной задачи. Соответствующие ей потенциалы § 9.5. Решение вариационной задачи при некоторых дополнительных предположениях § 9.6. Ценность больцмановского количества информации § 9.7. Другой подход к определению ценности шенноновской информации Глава 10. ЦЕННОСТЬ ШЕННОНОВСКОЙ ИНФОРМАЦИИ ДЛЯ ВАЖНЕЙШИХ БЕЙ-ЕСОВСКИХ СИСТЕМ § 10.1. Система с двумя состояниями § 10.2. Системы с однородной функцией штрафов § 10.3. Гауссовы бейесовские системы § 10.4. Стационарные гауссовы системы Глава 11. АСИМПТОТИЧЕСКИЕ РЕЗУЛЬТАТЫ, КАСАЮЩИЕСЯ ЦЕННОСТИ ИНФОРМАЦИИ. ТРЕТЬЯ АСИМПТОТИЧЕСКАЯ ТЕОРЕМА § 11.1. О различии между ценностями различных родов информации. Предварительные формы § 11.2. Теорема об асимптотической равноценности различных количеств информации

227 230 234 237 241 252 257 257 260 267 270 272 275 285 291 296 297 301 307 311 320 325 329 334 334 338 344 353 360 361 365

§ 11.3. Быстрота исчезновения различия в ценности шенноновской и хартлиевской информации § 11.4. Другие способы записи основного результата. Обобщения и частные случаи § 11.5. Обобщенная теорема Шеннона Глава 12. ТЕОРИЯ ИНФОРМАЦИИ И ВТОРОЙ ЗАКОН ТЕРМОДИНАМИКИ § 12.1. Информация о физической системе, находящейся в состоянии термодинамического равновесия. Обобщенный второй закон термодинамики § 12.2. Приток шенноновской информации и превращение теплоты в работу § 12.3. Энергетические затраты на создание и запись информации. Пример § 12.4. Энергетические затраты на создание и запись информации. Общая формулировка § 12.5. Энергетические затраты в физических каналах Приложение. НЕКОТОРЫЕ МАТРИЧНЫЕ (ОПЕРАТОРНЫЕ) ТОЖДЕСТВА § П.1. Правило переноса оператора слева направо § П. 2. Детерминант составной матрицы Список литературы Предметный указатель

376 386 392 398 399 402 407 410 413 416 416 417 418 420

Предметный указатель — термодинамики второй 400, 405 a-информация 308 — — — обобщенный 400, 405 Бит 13 Иенсона неравенство 15 Больцмана формула 10 Информация связи парная (взаимная) Вероятность апостериорная 184 финальная 123 — — случайная 187 — ошибки 229 — — тройная 193 — — средняя 230 Ветвь аномальная 265, 308 — — удельная 206 — нормальная 265, 308 — — условная 189 Канал абстрактный 258, 260 Гиббса распределение каноническое 70, 85, 89, 398 — аддитивный 291 — гауссов 275 — теорема 89 Длина записи 45, 51 — — стационарный 285 W-процесс вторичный — двоичный 272, 274 апостериорный 124 — дискретный без помех 64 — симметричный 270 Емкость информационная 65 — физический 413 Задача вариационная первая 65, 67 — — вторая 257, 258, 259 — — пропускная способность 413 — — третья 311 Закон сохранения количества Код 45, 228 информации 43 — дешифруемый 49

— — Крафта 49 — оптимальный 46 — Шеннона случайный 231 Кодирование информации 43, 44 — — «блочное» 44 — — оптимальное 43 — — скользящее (текущее) 44 Количество информации больцмановское 14, 326 — — хартлиевское 12 — — шенноновское 181, 186 Котельникова теорема 290 Леви формула 104 Лежандра преобразование 80, 88, 239 Маркова условие 122 Метод неопределенных множителей Лагранжа 67 «Микросостояние» 10 «Модель Изинга» 77 Нат 13 Негинформация 297 Область «активная» 67, 260, 314 Ошибка декодирования 58, 230 Параметр канонический 85, 86 — термодинамический внешний 79 — — внутренний 79, 85 — — сопряженный 80, 86 Плотность энтропии 165 Помеха простая 183 Последовательность бейесовских систем информационно-устойчивая 374 Потенциал термодинамический 73 — характеристический 29, 86, 101, 133, 197, 203, 211 — — условный 249 Принцип аддитивности 12

Пропускная способность 61, 65, 258 Процесс вторичный апостериорный 119, 124 — дискретный 110 — — марковский 114 — — — стационарный 114 — — стационарный 110 — марковский диффузный 165 — — условный 120, 172, 215 — — —, энтропия 120 — стационарно-связанный 205 — стационарный периодический 145 — точечный случайный 152 Равноценность информации асимптотическая 367 Радона-Никодимова производная 34 Распределение каноническое 86 — экстремальное 308 Риск 307 Свободная энергия 70 Свойство иерархической аддитивности 19, 39, 190, 191 Система бейесовская 307 — — гауссовая 344 — — — стационарная 353 Случайный поток 152 Сообщение элементарное 47 Соотношение термодинамическое 70, 71, 263, 316 Стирлинга формула 158 Сумма статистическая 70, 82 Теорема асимптотическая вторая 234, 236 — — первая 99 — — третья 363, 367, 374 Условие мультипликативности 40, 42 — нормировки 67, 312 Условный марковский процесс 172, 215 Устойчивость информационная 236 — каноническая 95 — энтропийная 25, 28

— — достаточное условие 27 Фокера — Планка уравнение 165, 175 — — — стационарное 168 Функция правдоподобия 229 — семиинвариантов производящая 87 — ценности информации 303, 329 — штрафов 64, 303 Хартли формула 10. 13 Хинчина теорема 235 Ценность информации 296, 298, 303 — — больцмановской 326, 327 — — дифференциальная 298, 299 — — случайная 320 — — хартлиевской 304 — — шенноновской 308, 329

Цепь марковская 114 Чебышева неравенство 22 Чернова неравенство 102 Шеннона теорема 234, 259 — — обобщенная 360, 392, 394 Штраф средний 307 Энтропия 10, 11 — больцмановская 14 — конца отрезка 109, 113 — максимальное значение 15, 38 — непрерывной случайной величины 33, 34 — свойства 15, 16 — случайная 14 — удельная 23. 109, 111, 165 — условная 17, 39 Энергия свободная 70