Detecção e Seguimento de Objectos Coloridos em Tarefas Robóticas

 

 

Desenvolvimento de um sistema de detecção e seguimento de objectos baseado em cor para utilização em sistemas robóticos com visão artificial.

 

 

 

 

Enquadramento:

 

A detecção e seguimento de objectos são problemas fundamentais da percepção artificial em robots. São, no entanto, problemas de difícil solução, devido à quantidade e diversidade de tipos de objectos e trajectórias que é necessário considerar no caso geral. Todavia, para tarefas específicas, é possível definir os tipos de objectos com os quais interagir, e limitar o tipo de movimentos a considerar. Por exemplo, num jogo de ping-pong, interessa especialmente detectar círculos brancos, e considerar movimentos balísticos com impactos conservativos pontuais.

 

O problema a abordar tem aplicações não só à robótica, mas também a outros problemas que envolvam a detecção de objectos e seguimentos. Por exemplo, no controlo de tráfego aéreo, os movimentos a considerar serão constituídos por troços de velocidade constante e troços de manobras de aceleração limitada.

 

Objectivos:

 

Neste trabalho pretende-se desenvolver um sistema de detecção de objectos baseado em cor, e seu seguimento com técnicas preditivas, para algumas tarefas específicas. O sistema será aplicado a uma cabeça robótica desenvolvida no Laboratório de Visão do ISR, mas as aplicações potenciais poderão estender-se a qualquer tipo de robot equipado com câmaras a cor (ver Fig. 1).

 

Fig 1. Robots equipados com sensores avançados de visão artificial (cabeças robóticas).

 

 

Serão abordados dois problemas fundamentais: (i) a detecção de objectos coloridos e (ii) a estimação e predição das suas trajectórias ao longo do tempo:

1.   Relativamente ao problema detecção, serão definidas formas de representar e identificar objectos simples coloridos. Os objectos poderão ter formas variadas e cores que podem alterar-se no tempo, quer devido a diferentes tipos de iluminação, quer devido mudanças de pose. Por isso a representação e detecção dos objectos deverá ser adaptada ao longo do tempo.

2.   Relativamente ao problema do seguimento, serão considerados e comparados vários modelos dinâmicos para o movimento do alvo, que incluam classes de trajectórias típicas (linear, curva, oscilatória, etc.). Em cada instante apenas um dos modelos estará activo, e os seus parâmetros serão estimados em função das medidas anteriores. O modelo activo será usado como preditor para efectuar a procura do alvo na imagem seguinte.

 

Descrição:

 

Para a detecção e identificação de alvos baseados em cor, pretende-se efectuar o estudo e implementação de três módulos base para a funcionalidade do sistema:

1. Representações dos objectos – vários objectos serão seleccionados, quer de uma forma automática quer assistida pelo utilizador, e serão criados modelos de cor para esses objectos. Pretende-se estudar modelos simples tais como cor uniforme, ou modelos mais complexos baseados em distribuições estatísticas da cor no objecto (histogramas).
2. Detecção dos objectos – serão desenvolvidos métodos para detectar e localizar objectos pertencentes às classes previamente aprendidas.
3. Adaptação da representação – Devido a alterações de iluminação e da pose dos objectos, as suas características de cor podem sofrer algumas alterações ao longo do tempo. Pretende-se adaptar a representação dos objectos a estas alterações de modo a melhorar a sua detecção posterior.

 

Para o problema do seguimento, serão abordados os seguintes pontos:

1.      Estudo e caracterização de diversos modelos de movimento – serão estudados diversos métodos apresentados na literatura e avaliadas as suas vantagens e inconvenientes. Serão seleccionados alguns modelos que descrevam bem as classes de trajectórias a considerar.

2.      Técnicas de estimação e predição do movimento – Serão utilizadas técnicas de filtragem de Kalman para estimar recursivamente os modelos considerados e efectuar a predição da posição do alvo.

3.      Selecção do modelo válido em cada instante de tempo – Utilizando métodos baseados em Multiplos Modelos, serão desenvolvidas técnicas para identificar em cada instante de tempo quais os modelos que melhor se adequam aos dados e que poderão fornecer as melhores predições para a posição do alvo.

 

O desenvolvimento e testes iniciais deverão ser efectuados na linguagem técnica ‘MatLab’. Após o desenvolvimento e teste bem sucedidos, os algoritmos deverão ser implementados em C/C++. No final do projecto os alunos terão desenvolvido conhecimentos em representações de cor, representações de objectos, técnicas de classificação, modelos dinâmicos de movimento, filtragem de Kalman e teste de hipóteses.

 

Em trabalho anterior foi já desenvolvido um interface gráfico MATLAB para efectuar segmentação de cor uniforme (ver Fig. 2). Os alunos têm, por isso, uma base de trabalho que facilitará a abordagem ao problema.

Fig 2. Exemplo de Segmentação de Objectos de Cor Uniforme. Interface Gráfico Matlab desenvolvido em trabalho prévio.

 

Requisitos: É recomendada a frequência à disciplinas de Processamento de Imagem e Visão e Controlo em Espaço de Estados ou Modelação, Identificação e Controlo Digital. Os alunos deverão ter bons conhecimentos de MATLAB e C++.

Os alunos não deverão ter disciplinas em atraso.

 

Resultado Esperado: No final do projecto pretende-se ter uma biblioteca de funções C/C++ que possam ser facilmente utilizadas na plataforma disponível. Os algoritmos deverão ser devidamente testados e documentados.

 

Áreas de Especialização: Sistemas de Decisão e Controlo

 

Localização: Laboratórios da Área de Especialização em Sistemas, Decisão e Controlo.

 

 

Referências:

[1] “Binocular Visual Tracking: Integration of Perception and Control”. Alexandre Bernardino, José Santos--Victor, VisLab-TR 10/99 IEEE Transactions on Robotics and Automation, (15)6, December 1999

 

[2] “Color indexing”. Michael J. Swain and Dana H. Ballard. Int. J. Comput. Vision vol. 7, n.1, 1991, pag.11--32, Kluwer Academic Publishers, Hingham, MA, USA,

 

[3] "Survey of maneuvering target tracking-part I: dynamic models". X. R. Li and V. P. Jilkov, IEEE Transactions on Aerospace and Electronic Systems, 39(4): 1333--1364, October 2003