дискретные источники информации - это

0,7 Mb.страница3/6Дата конвертации22.09.2011Размер0,7 Mb.Тип Смотрите также:     3       ^ Дискретные источники информации Под дискретным понимается источник, который в каждую единицу времени порождает один символ xi из дискретного множества А={a1, a2, ..., ak}, называемого алфавитом источника, где k размер алфавита. Источник, с точки зрения теории информации, считается заданным полностью, если известен не только алфавит источника, но и есть его модель, позволяющая вычислить вероятность любой последовательности символов в любой момент времени. Таким образом, источник задан, если определен его алфавит А = {a1, a2, ..., ak}, и для последовательности символов xi, xi+1, ..., xi+L, порождаемой источником, известны вероятности слов p(xi, xi+1, ..., xi+L) при любых i и L, определя]ющих позицию и длину последовательности символов источника. То есть, с точки зрения теории информации, отождествляются источники различной физической природы, описываемые одним и тем же распределением вероятностей. Простейший класс моделей источников составляют дискретные источники без памяти, или бернуллиевские. В этих источниках выходом является последовательность символов, каждый из которых выбирается из алфавита А={a1, a2, ..., ak} статистически независимо и случайно, в частности, знание предыдущих символов источника не влияет на вероятность последующих. При этом выбор производится в соответствии с заданным распределением вероятностей p(a1), p(a2), ..., p(ak). В случае Бернуллиевского источника для любой последовательности символов x1,Px2,P...,Pxn из алфавита А выполняется равенство р(x1, x2 , ..., xn) = p(x1) p(x2) ... p(xn) В том случае, если вероятность появления очередного символа источника xi зависит от одного предыдущего символа xi-1, источник называется марковским, или марковским 1го порядка. Для марковских источников: p(xi/xi-1, xi-2 , ..., x1) = p(xi/xi-1) Таким образом, в сообщениях марковского источника всю информацию о вероятности текущего символа дает один предыдущий символ, а остальные не влияют на его появление.Определение марковских источников можно распространить и на более общий случай, когда вероятность очередного символа источника определяется не одним, а s предыдущими символами. Такой источник называется марковским порядка, или связности s. В случае марковского источника связности s выполняется следующее равенство: p(xi/xi-1, xi-2 , ... , x1) = p(xi/xi-1, xi-2, ... , xi-s) В дальнейшем мы будем рассматривать эргодические стационарные источники. К эргодическим относятся источники, не имеющие устойчивых типов поведения (характеристики по многим реализациям совпадают с характеристиками по одной, достаточно длинной, реализации источника). Источник называется стационар]ным, если его распределение вероятностей не зависит от сдвига во времени. То есть, вероятность произвольной последовательности (x1, x2, ... xi) в момент времени t равна вероятности этой же последовательности через интервал времени j. pt(x1, x2, ... , xi) = pt+j(x1, x2, ... , xi) ^ Условная информация и энтропия Предположим, что дискретный источник без памяти U имеет алфавит А из k букв a1, a2, ... , ak c вероятностями p(a1), p(a2), ..., , p(ak), p(a1) + p(a2) + ... + p(ak) = 1. Обозначим через p(ai/aj) вероятность того, что на выходе источника появится символ ai при условии что предыдущим символом был aj. p(ai/aj) = p(ai, aj)/p(aj) где p(ai,Paj) вероятность последовательного появления пары символов ai, aj. Таким образом, p(ai/aj) условная вероятность символа ai. Для бернуллиевских источников p(ai/aj)= p(ai), так как появление aj ничего не говорит о вероятности появления ai. Определим взаимную информацию как информацию о символе ai, содержащуюся в появлении aj. Она равна: В тех случаях, когда взаимная информация между символами источника велика (источники с высокой корреляцией символов), можно достаточно точно предсказывать вероятность очередного символа по предыдущим. Собственную информацию, содержащуюся в символе источника aj, можно определить следующим образом: Она может быть интерпретирована как априорная неопределенность символа ai, либо как информация, требуемая для разрешения этой неопределенности. Основание логарифма определяет шкалу, в которой измеряется информация. Наиболее часто используется основание 2, в этом случае информация измеряется в битах. Основной характеристикой источника является его энтропия, характеризующая неопределенность символов источника. Безуслов]ная энтропия определяется как среднее значение собственной информации источника и задается равенством: Если перейти от символов источника к блокам символов длины L, то можно определить энтропию Lго порядка. Пусть X = {x1, x2, ... ,xL} последовательность из L символов дискретного источника с алфавитом A. Тогда определим энтропию на блок символов источника как: где kL количество всех последовательностей длины L в алфавите А. При L получаем предельную энтропию H .Энтропия играет очень важную роль в теории информации, определяя минимально возможную среднюю длину кодового слова. Так, для бернуллиевских источников средняя длина кодового слова не может быть меньше безусловной эн

Графические данные и цветовые модели 1 чел. помогло.

Дискретные источники информации - Графические данные и цветовые модели