UNIVERSIDADE FEDERAL DE SANTA CATARINA

CENTRO DE CIÊNCIAS FÍSICAS E MATEMÁTICAS

DEPARTAMENTO DE MATEMÁTICA

PRÉ-REQUISITO(S): -

Nº DE HORAS-AULA SEMANAIS: 04

Nº TOTAL DE HORAS-AULA: 72

SEMESTRE:

CURSO(S): Matemática

OBJETIVO TERMINAL: Apresentando o conteúdo, através de exposição dialogadas e exercícios práticos, os alunos deverão estar aptos a resolver exercícios e situações práticas com um mínimo de 80%.

OBJETIVOS ESPECÍFICOS: O aluno deverá:

• Compreender a importância dos conceitos, definições e propriedades da Teoria da Informação;
• Entender a modelagem de um sistema de comunicação, como foi proposto por Shannon em 1948;
• Ter uma noção intuitiva do que é entropia;
• Demonstrar teoremas e propriedades relacionados com as entropias, usando definições e axiomas;
• Resolver pequenos problemas relativos à construção de códigos;
• Ter uma noção geral de canal discreto sem memória;
• Ter uma visão geral de aplicações da Teoria da Informação.

CONTEÚDO PROGRAMÁTICO:

Unidade I - Introdução

Unidade II - Noções de probabilidade

Variável aleatória. Eventos. Distribuição de probabilidade. Probabilidades conjuntas e condicionais. Regras de Bayes. Exemplos.

Unidade III - Entropia de Shannon

Medida de incerteza. Axiomas. Construção axiomática de entropia de Shannon. Entropias conjuntas e condicionais. Relações e propriedades. Exemplos.

Unidade IV - Informação Mútua

Definição de informação mútua. Propriedades.

Unidade V - Codificação sem ruído

Sistema de comunicação. Códigos. Código decifrável unicamente. Código instantâneo. Teorema de codificação sem ruído. Códigos ótimos. Exemplos.

Unidade VI - Noções de canal discreto sem memória e capacidade do canal.

BIBLIOGRAFIA:

1. ABRAMSON, N.; Information Theory and Coding, Mc Graw-Hill, New York, 1963.

2. ASH, R.; Information Theory, Interscience Publishers, New York, 1965.

3. JONES, D. S.; Elementary Information Theory, Oxford University Press, 1980.