Реферат на тему "Расчет информационных характеристик источников сообщений сигналов и кодов"




Реферат на тему

текст обсуждение файлы править категориядобавить материалпродать работу




Курсовая на тему Расчет информационных характеристик источников сообщений сигналов и кодов

скачать

Найти другие подобные рефераты.

Курсовая *
Размер: 181.72 кб.
Язык: русский
Разместил (а): shatun
1 2 Следующая страница

добавить материал

Министерство образования и науки РФ
Пензенский государственный университет
Кафедра «Информационной безопасности систем и технологий»
Пояснительная записка к курсовой работе
по теме:
«Расчет информационных характеристик источников сообщений, сигналов и кодов»
ПГУ 2.010905.001 ПЗ
Дисциплина: Теория информации
Пенза, 2008г.

Реферат
АНСАМБЛЬ СООБЩЕНИЯ, ДИСКРЕТНОЕ СООБЩЕНИЕ, ИСТОЧНИК СООБЩЕНИЙ, КАНАЛ БЕЗ ШУМА, КАНАЛ С ШУМОМ, ЭФФЕТИВНОЕ КОДИРОВАНИЕ, ПОМЕХОУСТОЙЧИВОЕ КОДИРОВАНИЕ, ЭНТРОПИЯ.
Объектом исследования являются источники сообщений, сигналы и кодов.
Целью работы является расчет информационных характеристик источника сообщений, сигналов и кодов.
В процессе работы был произведен расчет различных информационных характеристик источников сообщений, сигналов и кодов.
В результате работы все задачи были решены и все требования задания были выполнены.

Содержание
Реферат
Введение
1. Расчет информационных характеристик источников дискретных сообщений
1.1 Задача № 1.30
1.2 Задача № 1.48
1.3 Задача № 1.67
2. Расчет информационных характеристик дискретного канала
2.1 Задача № 2.24
2.2 Задача № 2.58
3. Согласование дискретного источника с дискретным каналом без шума. Эффективное кодирование
3.1 Задача № 3.24
3.2 Задача № 3.54
3.3 Задача № 3.84
3.4 Задача № 3.114
4. Согласование дискретного источника с дискретным каналом с шумом. Помехоустойчивое кодирование
4.1 Задача № 4.24
4.2 Задача № 4.54
Заключение
Список используемых источников

Введение
Эффективная организация обмена информации приобретает все большее значение как условие успешной практической деятельности людей. Объем информации, необходимой для нормального функционирования современного общества, растет примерно пропорционально квадрату развития промышленного потенциала. Доля рабочей силы занятой вопросами обеспечения информацией начинает превышать долю рабочей силы занятой непосредственно в производстве. Поэтому науки, изучающие структуру и закономерности протекания информационных процессов, к числу которых относится и теория информации (ТИ), в такой ситуации становятся исключительно актуальными.
Дисциплина связана с предшествующими ей дисциплинами "Высшая математика", "Теория вероятности и матстатистика", "Дискретная математика" и последующими дисциплинами "Компьютерная электроника", "Вычислительные системы", "Сети ЭВМ", "Надежность, контроль, диагностика и эксплуатация ЭВМ", "Основы защиты информации" и др.
Основной задачей теории информации как самостоятельной дисциплины является оптимальное использование информационных характеристик источников сообщений и каналов связи для построения кодов, обеспечивающих заданную достоверность передаваемой информации с максимально возможной скоростью и минимально возможной стоимостью передачи сообщений. Частными задачами при этом являются: проблемы измерения количества информации, изучение свойств информации, изучение методов помехоустойчивого кодирования, исследование взаимодействия систем и элементов систем методами теории информации, решение задач прикладного характера.
В данной курсовой работе проводится расчет основных информационных характеристик источника сообщений, сигналов и каналов. Теория информации представляет собой ветвь статистической теории связи. Информация передается, и хранится в виде сообщений. Сообщение - это информация представленная в какой-либо форме. Первый раздел курсовой работы носит название: «Расчёт информационных характеристик источника дискретного сообщения». Изменяющийся во времени физический процесс, отражающий передаваемое сообщение называется сигналом. Сигнал передаётся по каналу связи. Второй раздел работы называется: «Расчёт информационных характеристик дискретного канала». В оставшихся двух разделах решаются задачи по темам: согласование дискретного источника с дискретным каналом с шумом и без шума, эффективное и помехоустойчивое кодирование. Их решение основываются на постулатах таких ученых как Шеннон, Хаффман, Фано.
 

1.                        Расчет информационных характеристик источников дискретных сообщений
1.1  Задача № 1.30
Распределение вероятностей дискретной случайной величины имеет вид:

Определить число n значений случайной величины, при которых энтропия Hp(X) равномерного распределения будет равна энтропии H(X) заданного распределения.
Решение:
Определим энтропию заданного распределения. Для нахождении энтропии данного дискретного ансамбля воспользуемся формулой (1.4), соответствующей определению энтропии (Энтропия – это среднее количество информации, содержащееся в одном сообщение источника). Вычислим энтропию распределения:
.



Равномерное распределение предполагает равные вероятности всех возможных исходов, при этом энтропия
.
Из условия, что

находим:

Ответ: при объеме алфавита n = 7, энтропия Hp(X) равномерного распределения будет равна энтропии H(X) заданного распределения.
1.2  Задача № 1.48
Найти энтропию шума H(U/Z) в двоичном симметричном канале без памяти, если энтропия источника на входе канала H(U) = 3400(бит), энтропия ансамбля на выходе канала H(Z) = 6800(бит), ненадежность канала H(U/Z) = 700(бит).
Решение:
Энтропия шума в двоичном симметричном канале без памяти будем искать по формуле
.
Выразим, неизвестное нам, количество информации
.
Подставляя эту формулу в исходную, получим выражение для нахождения энтропии шума в двоичном симметричном канале
.
Ответ: энтропия шума в двоичном симметричном канале H(U/Z) = 4100(бит).
1.3  Задача № 1.67
Принимаемый сигнал может иметь амплитуду А1(событие Х1) или А2 (событие Х2), а также сдвиг фаз  (событие Y1) или (событие Y2) режимах. Вероятности совместных событий имеют следующие значения: P(X1,Y1) = 0,73; P(X1,Y2) = 0,21; P(X2,Y1) = 0,02; P(X2,Y2) = 0,04.
Вычислить количество информации, получаемой о фазовом сдвиге сигнала, если станет известной его амплитуда.
Решение:
Количество информации о фазовом сдвиге при известной амплитуде будем искать по формуле (1.13) лекции
.
Найдем энтропию Y:
.
Что бы найти энтропию, найдем вероятности появления событий Y1 и Y2:

Найдем вероятности появления событий Х1 и Х2:

Подставляя значения в вышестоящую формулу, найдем значение энтропии:
.
По формуле (1.9) лекции найдем




Подставляя полученные значения в формулу, получим, что

Тогда, количество информации о фазовом сдвиге при известной амплитуде будет равно
.
Ответ: количество информации о фазовом сдвиге при известной амплитуде .

2.                 Расчет информационных характеристик дискретного канала
2.1    Задача № 2.24
На вход дискретного симметричного канала без памяти поступают двоичные символы U1 =0 и U2 = 1 с априорными вероятностями P(U1) = 0,85 и P(U2) = 0,15. Переходные вероятности P(Zj / Ui) в таком канале задаются соотношением
,
где р – вероятность ошибки, р = 0,05. определить все апостериорные вероятности.
Решение:
Ситуация в канале характеризуется схемой, изображенной на рисунке:
 SHAPE  \* MERGEFORMAT
канал
U1=0
Z1=0
U2=1
Z2=1
шум

Рис. 2.1
Так как р – вероятность ошибки, следовательно вероятность правильного приема – q, причем
.

Найдем переходные вероятности:
В таком канале каждый кодовый символ может быть принят с ошибочной вероятностью:
.
Но не все информация, переедающаяся по каналу, может быть ошибочной. Таким образом, правильно переданная информация описывается следующим распределением вероятностей:
.
По формуле Байеса определим апостериорные вероятности:
;

        
Ответ: априорные вероятности в данном канале равны: P(U1/Z1) = 0,96; P(U1/Z2) = 0,23; P(U2/Z1) = 0,04; P(U2/Z2) = 0,77.
2.2    Задача № 2.58
По каналу связи передаётся сообщение из ансамбля
.
Средняя длительность передачи одного элемента сообщения в канале τ = 0,44 мс. Шум в канале отсутствует. Определить пропускную способность канала и скорость передачи информации.
Решение:
В соответствии с (1.25.а) лекции, в случае, когда шум в канале отсутствует

Скорость рассчитаем по формуле
.
Объем алфавита данного сообщения равно восьми, т.е. М = 8. найдем пропускную способность
.
Скорость передачи информации по каналу есть произведения количества информации, передаваемого по каналу на скорость:
.
Количество информации будем искать по формуле (1.13) лекции
.
Так как шум в канале отсутствует, то
.

Тогда, количество информации
.
Определим энтропию заданного распределения. Для нахождении энтропии данного ансамбля воспользуемся формулой (1.4):
.


Подставляя в полученную ранее формулу, получим
.
Ответ: пропускная способность канала С = 18184(бит/с); скорость передачи информации V, = 5546,12.

3.                        Согласование дискретного источника с дискретным каналом без шума. Эффективное кодирование
3.1 Задача № 3.24
Закодировать двоичным кодом Фано ансамбль сообщений
А1
А2
А3
А4
А5
А6
А7
А8
А9
А10
А11
А12
0,088
0,065
0,035
0,062
0,06
0,059
0,097
0,3
0,068
0,044
0,054
0,122
Закодировать произвольную комбинацию, состоящую из пяти символов ансамбля А; Определить потенциальный минимум среднего количества символов кода, приходящихся на одно сообщение ансамбля А; Определить среднее количество символов разработанного кода Фано, приходящихся на одно сообщение из ансамбля А; Рассчитать эффективность разработанного кода.
Решение:
Для удобства расположим вероятности появления сообщений в порядке убывания:
А8
0,3
0
А12
0,122
10
А7
0,097
100
А1
0,088
101
А9
0,068
110
А2
0,065
1110
А4
0,062
11110
А6
0,059
111110
А11
0,054
1111110
А10
0,044
1111110
А3
0,035
11111110
А5
0,006
11111111

Выберем из ансамбля А произвольную комбинацию из пяти символов и закодируем их полученным кодом Фано:
А9А3А5А7А4
110111111101111111110011110.
Потенциальный минимум будем искать по формуле (2.12) лекции:
;
Так как код является двоичным, тогда основание кода N = 2. Следовательно:
.
Тогда потенциальный минимум будет равен энтропии источника:
.
Найдем энтропию источника, пользуясь мерой Шеннона:
;


Рассчитаем среднее количество символов, приходящихся на одно сообщение:
, где
М – объем алфавита кода (М = 2);
Pi – вероятность появления события;
n – количество символов в коде.
P1 = 0,088
n1 = 3
P2 = 0,065
n2 = 4
P3 = 0,035
n3 = 8
P4 = 0,062
n4 = 5
P5 = 0,006
n5 = 8
P6 = 0,059
n6 = 6
P7 = 0,097
n7 = 3
P8 = 0,3
n8 = 1
P9 = 0,068
n9 = 3
P10 = 0,044
n10 = 7
P11 = 0,054
n11 = 7
P12 = 0,122
n12 = 2

 Согласно (2.12.а) лекции эффективность кода находим, как:
.

Ответ: потенциальный минимум ; среднее количество символов, приходящихся на одно сообщение ; эффективность кода .
3.2 Задача № 3.54
Закодировать кодом Фано, с объемом алфавита М=5, ансамбль
А1
А2
А3
А4
А5
А6
А7
А8
А9
А10
А11
А12
0,082
0,122
0,503
0,04
0,012
0,002
0,005
0,034
0,124
0,006
0,0395
0,0305
Закодировать произвольную комбинацию, состоящую из пяти символов ансамбля А; Определить потенциальный минимум среднего количества символов кода, приходящихся на одно сообщение ансамбля А; Определить среднее количество символов разработанного кода Фано, приходящихся на одно сообщение из ансамбля А; Рассчитать эффективность разработанного кода.
Решение:
Для удобства расположим вероятности появления сообщений в порядке убывания:
А3
0,503
0
А9
0,124
10
А2
0,122
210
A1
0,082
3210
А4
0,04
43210
А11
0,0395
443210
А8
0,034
4443210
А12
0,0305
44443210
А5
0,012
44444321
А10
0,006
44444432
А7
0,005
44444443
А6
0,002
44444444

Выберем из ансамбля А произвольную комбинацию из пяти символов и закодируем их полученным кодом Фано:
А1А2А3А4А5
321021004321044444321
Потенциальный минимум будем искать по формуле (2.12) лекции:
;
Так как код является четверичным, тогда основание кода N = 5. Следовательно:
.
Найдем энтропию источника, пользуясь мерой Шеннона:
;

 Тогда потенциальный минимум

.
Рассчитаем среднее количество символов, приходящихся на одно сообщение:
, где
М – объем алфавита кода (М = 5);
Pi – вероятность появления события;
n – количество символов в коде.
P1 = 0,82
n1 = 4
P2 = 0,122
n2 = 3
P3 = 0,503
n3 = 1
P4 = 0,004
n4 = 5
P5 = 0,012
n5 = 8
P6 = 0,002
n6 = 8
P7 = 0,005
n7 = 8
P8 = 0,034
n8 = 7
P9 = 0,124
n9 = 2
P10 = 0,006
n10 = 8
P11 = 0,0395
n11 = 6
P12 = 0,0305
n12 = 8
 

Согласно (2.12.а) лекции эффективность кода находим, как:
.
Ответ: потенциальный минимум ; среднее количество символов, приходящихся на одно сообщение ; эффективность кода .
3.3 Задача № 3.84
Закодировать двоичным кодом Хаффмана ансамбль сообщений
А1
А2
А3
А4
А5
А6
А7
А8
А9
А10
А11
А12
0,082
0,122
0,503
0,04
0,012
0,002
0,005
0,034
0,124
0,006
0,0395
0,0305
1 2 Следующая страница


Расчет информационных характеристик источников сообщений сигналов и кодов

Скачать курсовую работу бесплатно


Постоянный url этой страницы:
http://referatnatemu.com/44207



вверх страницы

Рейтинг@Mail.ru
Copyright © 2010-2015 referatnatemu.com