PROGRAMA DE MTM 5707 - INTRODUÇÃO A TEORIA DA INFORMAÇÃO

PRÉ-REQUISITO(S): -

Nº DE HORAS-AULA SEMANAIS: 04

Nº TOTAL DE HORAS-AULA: 72

SEMESTRE:

CURSO(S): Matemática

EMENTA: Noção de probabilidade; Entropia de Shannon; Entropia Conjunta; Entropia Condicional; Informação Mútua; Propriedades e Aplicações.

OBJETIVO TERMINAL: Apresentando o conteúdo, através de exposição dialogadas e exercícios práticos, os alunos deverão estar aptos a resolver exercícios e situações práticas com um mínimo de 80%.

OBJETIVOS ESPECÍFICOS: O aluno deverá:

Compreender a importância dos conceitos, definições e propriedades da Teoria da Informação;
Entender a modelagem de um sistema de comunicação, como foi proposto por Shannon em 1948;
Ter uma noção intuitiva do que é entropia;
Demonstrar teoremas e propriedades relacionados com as entropias, usando definições e axiomas;
Resolver pequenos problemas relativos à construção de códigos;
Ter uma noção geral de canal discreto sem memória;
Ter uma visão geral de aplicações da Teoria da Informação.

CONTEÚDO PROGRAMÁTICO:

Unidade I - Introdução

Unidade II - Noções de probabilidade

Variável aleatória. Eventos. Distribuição de probabilidade. Probabilidades conjuntas e condicionais. Regras de Bayes. Exemplos.

Unidade III - Entropia de Shannon

Medida de incerteza. Axiomas. Construção axiomática de entropia de Shannon. Entropias conjuntas e condicionais. Relações e propriedades. Exemplos.

Unidade IV - Informação Mútua

Definição de informação mútua. Propriedades.

Unidade V - Codificação sem ruído

Sistema de comunicação. Códigos. Código decifrável unicamente. Código instantâneo. Teorema de codificação sem ruído. Códigos ótimos. Exemplos.

Unidade VI - Noções de canal discreto sem memória e capacidade do canal.

BIBLIOGRAFIA:

1. ABRAMSON, N.; Information Theory and Coding, Mc Graw-Hill, New York, 1963.

2. ASH, R.; Information Theory, Interscience Publishers, New York, 1965.

3. JONES, D. S.; Elementary Information Theory, Oxford University Press, 1980.