Corre¸ c˜ ao de Perspectiva aplicado ` a Navega¸ c˜ ao autˆ onoma de VANTs atrav´ es de imagens Brayan Acevedo Jaimes 1 - Frank S. Torres 2 - Cristiano L. Castro 3 - Antˆ onio P. Braga 4 - ´ Elcio Hideiti Shiguemori 5 1 [email protected] 2 [email protected] 3 [email protected] 4 [email protected] 5 [email protected] 1-4 Programa de P´ os-Gradua¸c˜ ao em Engenharia El´ etrica - Universidade Federal de Minas Gerais - Belo Horizonte, MG, Brasil 5 Instituto de Estudos Avan¸cados - S˜ ao Jos´ e dos Campos, SP, Brasil Introdu¸ c˜ ao Imagens a´ ereas capturadas por v´ ıdeo cˆ amera em tempo real s˜ao comparadas com imagens georreferen- ciadas previamente embarcadas dentro da aeronave, para estimar a posi¸c˜ ao atual na regi˜ ao sobrevoada. Esta t´ ecnica ´ e conhecida como Casamento de Imagens, onde a posi¸c˜ ao atual ´ e estimada mediante a uniformiza¸ c˜ao das imagens via extra¸ c˜ao de bordas para depois calcular o maior grau de correla¸c˜ ao espacial e dessa forma definir a posi¸c˜ ao da aeronave. O casamento de imagens visa encontrar uma boa precis˜ ao na correspondˆ encia entre imagens (cˆ amera do VANT e imagem georreferenciada) com a mesma cena, capturadas em tempos diferentes. Al´ em disso, a posi¸c˜ ao e resolu¸ c˜aodacˆ amera faz que a imagem apresente distor¸ c˜ao e efeitos de perspectiva que afetam diretamente a estima¸c˜ ao da posi¸c˜ ao do VANT. De modo que as caracter´ ısticas de imagens a´ ereas com distor¸c˜ ao n˜ ao conseguem representar com precis˜ao a posi¸ c˜ao que esta sendo imageada. Considerando os problemas anteriormente mencionados, este trabalho apresenta os resultados da estima¸c˜ ao de posi¸c˜ ao de VANTs sobre um voo real aplicando a t´ ecnica de Casamento de Imagens e Corre¸ c˜ao de Perspectiva. Imagens capturadas por VANTs geralmente n˜ ao possuem visada nadir devido ao tipo de cˆamera acoplado, manobras de virada ou perturba¸c˜ oes no ambiente. Como solu¸c˜ ao, ´ e proposto um m´ etodo param´ etrico, que utiliza o conhecimento pr´ evio dos ˆangulos de inclina¸ c˜aoda aeronave, fornecidos pelos sensores inerciais da mesma. Estos ˆ angulos conformam os parˆ ametros de rota¸c˜ ao na matriz homogr´ afica H, que tamb´ em esta constitu´ ıda por parˆametros intr´ ınsecos da cˆamera. A maior contribui¸ c˜ao deste trabalho´ e que o m´ etodo toma como referˆ encia a informa¸ c˜aodosˆangulos de inclina¸ c˜ao do VANT para definir a homografia sem a necessidade de definir pontos de controle (Ground Control Points) ou utilizar outra imagem como referencia. Portanto, a metodologia ´ e inde- pendente da imagem e n˜ ao requer nenhum processo de identifica¸c˜ ao de padr˜oes nela. Os resultados obtidos mostram que o m´ etodo exige curto tempo de processamento na corre¸ c˜ao projetiva da imagem sendo, portanto, fact´ ıvel de ser implementado em condi¸ c˜oes reais de voo. Al´ em disso os resultados na estima¸c˜ ao de posi¸ c˜ao tiveram uma melhora pois o erro de estima¸c˜ ao foi reduzido. Objetivos • Melhorar a estima¸ c˜ao de posi¸ c˜ao em VANTs atrav´ es de imagens. • Garantir uma boa correspondˆ encia entre imagens (cˆ amera do VANT e imagem georreferenciada). • Dar maior robustez e precis˜ao na corre¸ c˜ao de perspectiva nas imagens Capturadas por VANTs. Metodologia O processo geral de retifica¸ c˜ao da imagem capturada pelo VANT ´ e mostrado na Figura 1(a). Este est´ a composto inicialmente pela leitura da imagem distorcida junto com os ˆangulos de inclina¸ c˜aodo VANT e os parˆ ametros da cˆamera. Depois,´ e calculada a matriz de rota¸c˜ ao e a matriz que define os parˆ ametros intr´ ınsecos da cˆ amera. Com isso, ´ e obtida a matriz homogr´ afica e por fim ´ e aplicada a transforma¸c˜ ao projetiva sobre a imagem para corrigir a distor¸c˜ ao geom´ etrica nela. (a)Corre¸c˜ ao de perspectiva. (b) Casamento de Imagens Figura 1: MetodologiaparaNavega¸c˜aoautˆ onoma de VANTs a trav´ es de imagens. Em seguida, a imagem capturada pelo VANT j´a corrigida´ e procurada sobre a imagem georreferen- ciada e posteriormente, calculou-se a diferen¸ca em metros com respeito ` aposi¸c˜ ao (latitude, longitude) que foi identificada e estimada sobre a imagem georreferenciada. A extra¸ c˜ao de caracter´ ısticas em cada imagem ´ e feita a trav´ es da extra¸ c˜ao de bordas utilizando o operador Canny. Isto com a fina- lidade de reduzir as diferen¸cas de ilumina¸c˜ ao entre elas. Uma vez que as duas imagens com bordas foram extra´ ıdas, ´ e calculada a matriz de correla¸c˜ ao espacial entre pixeis, onde ´ e identificado o ponto m´ aximo da matriz que indica a maior correla¸c˜ ao na compara¸c˜ ao entre as imagens (sub-regi˜ao e ge- orreferenciada). Esse ponto m´ aximo ser´ a definido como o pixel central que comp˜ oe o novo padr˜ao identificado que da a posi¸ c˜aogeogr´aficadoVANTeainforma¸c˜ ao de latitude e longitude estimada na imagem georreferenciada. Na figura 1(b) ´ e mostrado o procedimento de reconhecimento de padr˜ oes e aestima¸c˜aodeposi¸ c˜ao feita para cada uma das imagens que foram capturadas pelo VANT. Resultados Foram simulados v´arios trechos de rota sobre uma mesma regi˜ ao que, s˜ao mostrados a seguir. A Lati- tude e longitude real em vermelho, a latitude e longitude estimada com nossa metodologia ´ e mostrada em cor amarelo e em cor verde ´ e mostrado a estima¸c˜ ao de posi¸c˜ ao sem corre¸ c˜ao de perspectiva, onde s´ o o ajuste de rota¸c˜ ao foi feito. (a) Rota 1. (b) Rota 2. Figura 2: Resultado de simula¸ c˜ ao de cen´arios. (a) Rota 1. (b) Rota 2. Figura 3: Distˆ ancias obtidas por imagens aplicando corre¸ c˜ao de perspectiva e rota¸c˜ ao. M´ etodo Distˆ ancia m´ edia Desvio padr˜ ao Variˆ ancia FP(%) VP(%) Corre¸c˜ ao de perspectiva 36.0447 20.2698 410.8649 0 100 % Rota¸c˜ ao 50.0113 25.6991 660.4414 2.8571 % 97.1428 % Tabela 1: Desempenho da aplica¸ c˜aodeCorre¸c˜ ao de perspectiva vs. rota¸ c˜ ao para estima¸c˜ ao de posi¸c˜ ao na rota 1 M´ etodo Distˆ ancia m´ edia Desvio padr˜ ao Variˆ ancia FP(%) VP(%) Corre¸c˜ ao de perspectiva 42.8718 11.0206 121.4536 0 100 % Rota¸c˜ ao 49.0536 26.5257 703.6140 2.8571 % 97.1428 % Tabela 2: Desempenho da aplica¸ c˜aodeCorre¸c˜ ao de perspectiva vs. rota¸ c˜ ao para estima¸c˜ ao de posi¸c˜ ao na rota 2 Conclus˜ oes • A metodologia implementada na corre¸c˜ ao de perspectiva demostrou ser independente das carac- ter´ ısticas da imagem. Portanto, o processo n˜ ao ´ e afetado por mudan¸cas espectrais ou f´ ısicas pre- sentes nas imagens devido `a utiliza¸c˜ ao da informa¸c˜ ao dos ˆ angulos de inclina¸c˜ ao do VANT como referencia e ` autiliza¸c˜aodosparˆametrosintr´ ınsecos da cˆ amera para definir a homografia e fazer a transforma¸c˜ ao projetiva nas imagens. • Os resultados mostraram que quando foi aplicada a corre¸c˜ ao de perspectiva na estima¸ c˜aodeposi¸c˜ ao, esta melhorou pois fornece posi¸c˜ oes mais precisas e com menor distˆ ancia de separa¸c˜ ao comparado com a posi¸ c˜ao real. Tamb´ em apresenta uma menor variabilidade entre estima¸ c˜oes. • Em conclus˜ ao, no processo de navega¸c˜ ao autˆ onoma de VANTs atrav´ es de imagens, a corre¸ c˜aode perspectiva aplicada `as imagens capturadas pela aeronave obtiveram melhores resultados compa- rado com a aplica¸c˜ ao de apenas a rota¸c˜ ao de imagens. Isto porque a corre¸c˜ ao de perspectiva melhora a percep¸ c˜ao da imagem e o ajuste de rota¸ c˜ao ao longo dos trˆ es ˆ angulos de inclina¸c˜ ao do VANT (Yaw, Pitch, Roll). Em contrapartida, a rota¸c˜ ao resulta ser mais limitada pois o ajuste ´ efeitos´o no angulo Yaw. Referˆ encias [1] Gianpaolo Conte and Patrick Doherty. An integrated UAV navigation system based on aerial image matching. Proceedings of the IEEE Aerospace Conference, pages 1–10, 2008. [2] R. I. Hartley and A. Zisserman. Multiple View Geometry in Computer Vision. Cambridge University Press, ISBN: 0521623049, 2000. [3]Euler Horta, E. H Shiguemori, H. F. C. Velho, and A. P. Braga. Extra¸ c˜ao de caracter´ ısticas e casamento de padr˜ oes aplicados ` aestima¸c˜ ao de posi¸c˜ ao de um VANT. Congresso Brasileiro de Autom´ atica, 1:5045–5050, 2012. [4] Brayan Acevedo Jaimes, Cristiano Leite de Castro, and Frank Sill Torres. CORREC ¸ ˜ AO DE PERS- PECTIVA EM IMAGENS APLICADA ` A NAVEGAC ¸ ˜ AO AUT ˆ ONOMA DE VANTs. V.1:103–110, May 2016. Agradecimentos Ao IEAV e ao projeto PITER pelo banco de imagens fornecido.