также есть плотность вероятности и
(3.10)
Это вытекает из того, что
(3.11)
Другими словами, перекрытие областей под φ(х) и ψ(x) уменьшает максимальную информацию, заключенную в сумме φ(х)+ψ(x). Если же φ(х) есть плотность [c.124] вероятности, обращающаяся в нуль вне (а, b), то интеграл
(3.12)
имеет наименьшее значение, когда 
на интервале (а, b) и φ(х)=0 вне этого интервала. Это вытекает из того, что логарифмическая кривая выпукла вверх.
Как и следовало ожидать, процессы, ведущие к потере информации, весьма сходны с процессами, ведущими к росту энтропии. Они состоят в слиянии областей вероятностей, первоначально различных. Например, если мы заменяем распределение некоторой переменной распределением функции от нее, принимающей одинаковые значения при разных значениях аргумента, или в случае функции нескольких переменных позволяем некоторым из них свободно пробегать их естественную область изменения, мы теряем информацию. Никакая операция над сообщением не может в среднем увеличить информацию. Здесь мы имеем точное применение второго закона термодинамики к технике связи. Обратно, уточнение в среднем неопределенной ситуации приводит, как мы видели, большей частью к увеличению информации и никогда - к ее потере.
Интересен случай, когда мы имеем распределение вероятностей с n-мерной плотностью f(х1, …, xn) по переменным (х1, …, xn) и m зависимых переменных y1, …, ym. Сколько информации мы приобретаем при фиксации таких т переменных? Пусть они сперва фиксируются между пределами y1, y1+dy1; …; ym, ym+dym. Примем х1, x2, …, xn-m, y1, y2, …, ут за новую систему переменных. Тогда для новой системы переменных наша функция распределения будет пропорциональна f1(х1, …, xn) над областью R, определенной условиями
и равна нулю вне ее. Следовательно, количество информации, полученной при наложении условий на значения y, будет равно[c.125]
(3.13)
С этой задачей тесно связано обобщение задачи, о которой говорилось по поводу уравнения (3.091). Сколько информации в рассматриваемом случае приобретается нами об одних только переменных х1, …, xn-m? Здесь априорная плотность вероятности этих переменных равна
, (3.14)
а ненормированная плотность вероятности после фиксации величин у будет
(3.141)
где Σ берется по всем множествам значений (xn-m+1, …, xn), соответствующим данному множеству значений y. Основываясь на этом, нетрудно записать решение нашей задачи, хотя оно и будет несколько громоздким. Если мы примем множество (x1, …, xn-m) за обобщенное сообщение, множество (xn-m+1, …, xn) - за [c.126] обобщенный шум. а величины y - за обобщенное искаженное сообщение, то получим, очевидно, решение обобщенной задачи выражения (3.091).
Таким образом, мы имеем по крайней мере формальное решение обобщения упомянутой уже задачи о сигнале и шуме. Некоторое множество наблюдений зависит произвольным образом от некоторого множества сообщений и шумов с известным совместным распределением. Мы хотим установить, сколько информации об одних только сообщениях дают эти наблюдения. Это центральная проблема техники связи. Решение ее позволит нам оценивать различные системы связи, например системы с амплитудной, частотной или фазовой модуляцией, в отношении их эффективности в передаче информации. Это техническая задача, не подлежащая здесь подробному обсуждению; уместно, однако, сделать некоторые замечания.
Во-первых, можно показать, что если пользоваться данным здесь определением информации, то при случайных помехах в эфире с равномерно распределенной по частоте мощностью и для сообщения, ограниченного определенным диапазоном частот и определенной отдачей мощности на этом диапазоне, не существует более эффективного способа передачи информации, чем амплитудная модуляция, хотя другие способы могут быть столь же эффективны. Во-вторых, переданная этим способом информация не обязательно имеет такую форму, которая наиболее приемлема для слуха или для другого данного рецептора. В этом случае специфические свойства уха и других рецепторов должны быть учтены при помощи теории, весьма сходной с только что изложенной. Вообще эффективное использование амплитудной модуляции или какого-либо другого вида модуляции должно быть дополнено применением соответствующих декодирующих устройств для преобразования принятой информации в такую форму, которая может быть хорошо воспринята рецепторами человека или же механическими рецепторами. Первоначальное сообщение тоже должно кодироваться, чтобы оно занимало возможно меньше места при передаче. Эта задача была разрешена, по крайней мере частично, когда Белловские телефонные лаборатории разработали систему "вокодер", а д-р К. Шеннон из этих лабораторий [c.127] представил в весьма удовлетворительном виде соответствующую общую теорию. Так обстоит дело с определением и методикой измерения информации. Теперь рассмотрим, каким способом информация может быть представлена в однородной во времени форме. Заметим, что большинство телефонных устройств и других приборов связи в действительности не предполагает определенного начала отсчета во времени. В самом деле, только одна операция как будто противоречит этому, но и здесь противоречие лишь кажущееся. Мы имеем в виду модуляцию. В ее наиболее простом виде она состоит в преобразовании сообщения f(t) в сообщение вида f(t)sin(at+b). Однако, если мы будет рассматривать множитель sin(at+b) как добавочное сообщение, вводимое в аппаратуру, то, очевидно, случай модуляции подойдет под наше общее утверждение. Добавочное сообщение, которое мы называем переносчиком, ничего не прибавляет к скорости передачи информации системой. Вся содержащаяся в нем информация посылается в произвольно короткий промежуток времени, и затем больше ничего нового не передается.
Итак, сообщение, однородное во времени, или, как выражаются профессионалы-статистики, временной ряд, находящийся в статистическом равновесии, есть функция или множество функций времени, входящее в ансамбль таких множеств с правильным распределением вероятностей, не изменяющимся, если всюду заменить t на t+τ. Иначе говоря, вероятность ансамбля инвариантна относительно группы преобразований, состоящей из операторов T которые изменяют f(t) в f(t+λ). Группа удовлетворяет условию