Категория
Информатика
Тип
реферат
Страницы
41 стр.
Дата
30.09.2009
Формат файла
.doc — Microsoft Word
Архив
19585.zip — 265.51 kb
  • kolichestvennaja-ocenka-informacii_19585_1.doc — 966.5 Kb
  • Readme_docus.me.txt — 125 Bytes
Рейтинг
10  из 10
Оценок
1
Оцените работу
Хорошо  или  Плохо


Текст работы

КОЛИЧЕСТВЕННАЯ ОЦЕНКА ИНФОРМАЦИИ
Общее число неповторяющихся сообщений, которое может быть составлено из алфавита m путем комбинирования по n символов в сообщении,
. (1)
Неопределенность, приходящаяся на символ первичного (кодируемого)1 алфавита, составленного из равновероятностных и взаимонезависимых символов,
. (2)
Основание логарифма влияет лишь на удобство вычисления. В случае оценки энтропии:
а) в двоичных единицах
б) в десятичных единицахгде ;
в) в натуральных единицахгде
Так как информация есть неопределенность, снимаемая при получении сообщения, то количество информации может быть представлено как произведение общего числа сообщений к на среднюю энтропию Н, приходящуюся на одно сообщение:
(3)
Для случаев равновероятностных и взаимонензависимых символов первичного алфавита количество информации в к сообщениях алфавита m равноа количество информации в сообщении, составленном из к неравновероятностных символов,
(5)
Для неравновероятностных алфавитов энтропия на символ алфавита
(4)
При решении задач, в которых энтропия вычисляется как сумма произведений вероятностей на их логарифм, независимо от того, являются ли они безусловными , условными или вероятностями совместных событий.
Количество информации определяется исключительно характеристиками первичного алфавита, объем – характеристиками вторичного алфавита. Объем2 информации
(6)
где lср – средняя длина кодовых слов вторичного алфавита. Для равномерных кодов (все комбинации кода содержат одинаковое количество разрядов)
где n – длина кода (число элементарных посылок в коде). Согласно (3), объем равен количеству информации, если lср=Н, т.е. в случае максимальной информационной нагрузки на символ



Ваше мнение



CAPTCHA