UNIVERSIDADE FEDERAL DE SANTA CATARINA

CENTRO DE CIÊNCIAS FÍSICAS E MATEMÁTICAS

DEPARTAMENTO DE MATEMÁTICA


PROGRAMA DE MTM 5707 - INTRODUÇÃO A TEORIA DA INFORMAÇÃO


PRÉ-REQUISITO(S): -

Nº DE HORAS-AULA SEMANAIS: 04

Nº TOTAL DE HORAS-AULA: 72

SEMESTRE:

CURSO(S): Matemática


EMENTA: Noção de probabilidade; Entropia de Shannon; Entropia Conjunta; Entropia Condicional; Informação Mútua; Propriedades e Aplicações.


OBJETIVO TERMINAL: Apresentando o conteúdo, através de exposição dialogadas e exercícios práticos, os alunos deverão estar aptos a resolver exercícios e situações práticas com um mínimo de 80%.


OBJETIVOS ESPECÍFICOS: O aluno deverá:


CONTEÚDO PROGRAMÁTICO:

Unidade I - Introdução


Unidade II - Noções de probabilidade

Variável aleatória. Eventos. Distribuição de probabilidade. Probabilidades conjuntas e condicionais. Regras de Bayes. Exemplos.


Unidade III - Entropia de Shannon

Medida de incerteza. Axiomas. Construção axiomática de entropia de Shannon. Entropias conjuntas e condicionais. Relações e propriedades. Exemplos.


Unidade IV - Informação Mútua

Definição de informação mútua. Propriedades.


Unidade V - Codificação sem ruído

Sistema de comunicação. Códigos. Código decifrável unicamente. Código instantâneo. Teorema de codificação sem ruído. Códigos ótimos. Exemplos.


Unidade VI - Noções de canal discreto sem memória e capacidade do canal.


BIBLIOGRAFIA:

1. ABRAMSON, N.; Information Theory and Coding, Mc Graw-Hill, New York, 1963.

2. ASH, R.; Information Theory, Interscience Publishers, New York, 1965.

3. JONES, D. S.; Elementary Information Theory, Oxford University Press, 1980.