Desenvolvimento de um Protótipo de Software de Reconhecimento Facial de Tempo Real para Registro Eletrônico de Ponto em Ambientes Indoor com Utilização do Dispositivo KINECT.

RAFAEL MIRANDA GUIMARÃES

Resumo


A interação homem-máquina é um tema cada vez mais estudado, sendo aplicado em cada vez mais áreas, obtendo assim um relevo importante no desenvolvimento de sistemas inteligentes. Este projeto teve como principal objetivo a criação de um sistema de reconhecimento de características faciais. O sistema foi estruturado de forma a poder ser usado como uma framework independente e de simples utilização, facilmente expansível (possibilitando a adição de novas funcionalidades) e com um grau de precisão suficiente para que os resultados sejam bastante reais e eficazes. Foi ainda tida em atenção a escalabilidade do sistema, utilizando-se para isso boas práticas de engenharia de software como design patterns.

Para o desenvolvimento do sistema, foi adotado o dispositivo Kinect da Microsoft em conjunto com a biblioteca de visão computacional OpenCV. O Kinect foi escolhido devido essencialmente ao seu SDK (Software Development Kit) bastante completo, à qualidade da captura dos dados e à sua grande comunidade de utilizadores, onde facilmente se pode encontrar suporte para eventuais problemas. A escolha do OpenCV deve-se igualmente à sua grande comunidade e aos seus algoritmos e classificadores. Entre eles destacam-se os classificadores como o Cascade e os algoritmos como o Eigenface e o Fisherface.

A arquitetura da framework foi testada numa aplicação real para a captura de dados experimentais. Essa aplicação reproduz um possível cenário de uso, revelando assim alguns dos pontos fortes e fracos do sistema. Como pontos fortes realçamos a fácil utilização da framework e a sua capacidade de identificar diferentes tipos de pessoas com um bom grau de confiança e velocidade. Os pontos onde há maior necessidade de trabalho estão relacionados com a adição de mais módulos de detecção e com a otimização dos já existentes de modo a melhorar os resultados e abranger mais casos de uso.

Este trabalho apresenta um estudo sobre a viabilidade no uso do sensor Kinect como dispositivo de captura e extração de dados em um sistema biométrico de reconhecimento facial. Será apresentado um software para auxiliar na captura dos dados fornecidos pelo sensor Kinect gerando uma base de dados de imagem local, a qual deverá ser utilizada na identificação e no reconhecimento de pessoas em um ambiente indoor. Como resultado, será verificada a capacidade do algoritmo quanto ao reconhecimento e a identificação dos indivíduos presentes na cena com base nos dados obtidos pelo dispositivo (sensor Kinect).

Palavras-chave: Kinect - Biometria – Reconhecimento de padrões - Reconhecimento Facial.


Texto completo:

PDF

Referências


AGARWAL, M.; AGRAWAL, H.; JAIN, N. & KUMAR, M. Face Recognition Using Principle Component Analysis, Eigenface and Neural Network, Signal Acquisition and Processing. ICSAP 10. International Conference on, vol., no., pp. 310-314, 9-10, 2010.

ALVARENGA, M. L. T.; CORREA, D. O.; OSÓRIO, FERNANDO S.. Redes Neurais Artificiais aplicadas no Reconhecimento de Gestos usando o Kinect. Em: Computer on The Beach 2012, v. 1, p. 1-10, 2012.

BOECHAT, G. C.. Investigação de um Modelo de Arquitetura Biometrica Multimodal para Identificação Pessoal. Recife, 2008, Dissertação (Mestrado em Ciência da Computação) – Universidade Federal do Pernambuco. Recife – PE, 2008.

BRADSKI, G. & KAEHLER, A. Learning OpenCV: Computer vision with the OpenCV library O’ Reilly Media, set. 2008.

BRADSKI, G.R & PISAREVSKY, V.. Intelapos’ Computer Vision Library: applications in calibration, stereo segmentation, tracking, gesture, face and object recognition. Computer Vision and Pattern Recognition. Proceedings. IEEE Conference on Volume 2, 796 – 797, 2000.

BRUNELLI, R. & POGGIO, T.. Face Recognition Through Geometrical Features. Proceedings 2nd European Conference Computer Vision, pp. 792-800. 1992.

CARDOSO, S. C. Microsoft Kinect: criando aplicações interativas com o microsoft kinect. 2011.

CASARIN, H. d. C. S.; CASARIN, S. J. Pesquisa Científica: da teoria à práti- ca. Curitiba: IBPEX, 2012. 204 p.

CAVALCANTI, G. D. C. Sistemas Biométricos - Composição de Biometrias para Sistemas Multimodais de Verificação de Identidade Pessoal. Tese de doutorado. Ciência da Computação, CIn, Universidade Federal de Pernambuco, 2005.

CERVO, A.; BERVIAN, P.; SILVA, R. da.. Metodologia científica. Pearson PrenticeHall, 2006. ISBN 9788576050476. Disponível em: .

COSTA, R. Superfícies Interativas com Kinect. Faculdade de Engenharia da Universidade do Porto. Fev. 2013.

DINIZ, F.; NETO, F.; JÚNIOR, F.; FONTES, L. RedFace: um sistema de reconhecimento facial baseado em técnicas de análise de componentes principais e autofaces: comparação com diferentes classificadores. Revista Brasileira de Computação Aplicada (ISSN 2176-6649), Passo Fundo, v. 5, n. 1, p. 42-54, abr. 2013

DUL, J. & WEERDMEESTER, B. (2004). Ergonomia prática. 3º Edição. São Paulo: Blucher, 2012. 147 p.

EGUCHI, A.. Object recognition based on shape and function. Bachelor Thesis, University of Arkansas, 2011.

EMGUCV: OpenCV in .Net. [S.1.]: [s.n], 2010. Disponível em: . Acesso em: 28 out. 2013.

ESQUEF I. A.. Tecnicas de Entropia em Processamento de Imagens. Rio de Janeiro, 2002. Dissertação (Mestrado em Instrumentação Científica) – Centro Brasileiro de Pesquisas Físicas. Rio de Janeiro, 2002.

EURO GAMER. PrimeSense: Beyond Natal. EuroGame.net, 2011. Disponível em . Acesso em: 19 jan. 2014.

Faceshift team. Caracteristicas do faceshift. Disponível em: . Acesso em: 20 nov. 2013.

FERIS, R.; TURK, M.; RASKAR, R.; TON, K. & OHASHI, G.. Exploiting depth discontinuities for vision-based fingerspelling recognition. In Workshop on Real-Time Vision for Human-Computer Interaction, Washington DC, USA, June 2004. Associated with Computer Vision and Pattern Recognition Workshop, CVPRW. pp. 155-155. IEEE, 2004.

FREUND, Y. & SCHAPIRE, R. E.. A decision-theoretic generalization of on-line learning and an application to boosting, 1997.

GOMES, J. & VELHO, L.. Computação Gráfica: imagem. 2. ed. Rio de Janeiro: IMPA, 2002. 424 p.

GONZALEZ, R. C.; WOODS, R. E. Processamento digital de imagens. 3. ed. São Paulo: Editora Pearson, 2009. 624 p.

GOSWAMI, G.; BHARDWAJ, S.; VATSA, M. & SINGH, R.. On RGB-D Face Recognition using Kinect. Biometrics: Theory, Applications and Systems (BTAS), 2013 IEEE Sixth International Conference on. Arlington, VA, 2013 pp. 1-6.

GOYA E.. Introdução ao processamento de imagens. Disponível em: Acesso em: 16 mar. 2014.

GUINNESS WORLD RECORDS. Kinect. 2011. Disponível em: . Acesso em: 06 nov. 2013.

HUANG, A.; BACHRACH, A.; HEMANN, G & ROY, N.. Visual odometry for gps- denied flight and mapping using a kinect. < http://goo.gl/OJUZC3 >. Acesso em : 14 nov. 2013.

HURK, Y. Gender classification with visual and depth images. Master Thesis, School of Humanities, Tilburg University, 2012.International Biometric Group. Disponível em: . Acesso em: 02 jan. 2014.

JAIN, A. K., ROSS, A., PRABGAKAR, S.. An Introduction to Biometric Recognition. IEEE Transactions on Circuits and Systems for Video Technology, Special Issue on Image- and Video-Based Biometrics, Vol. 14, No. 1, pages 4-20, 2004.

JAIN, A. K.; LIN, H.; HARATH, P. & BOLLE, R.. An Identity-Authentication System Using Fingerprints. In Proceeding of the IEEE (Special Issue on Automated Biometrics) v. 85 n. 9, pp. 1365-1388, 1997.

JAIN, A. K.; BOLLE, R. & PANKANTI, S.. Introduction to Biometrics: Personal Identification in Networked Society. Kluwer Academic Publishers, Norwell, MA, 1999.

JAIN, A; HONG, L & PANKANTI, S.. Biometric Identification. Communication of the ACM. v. 43, n. 2. pp. 91-98, February 2000.

JURISTO, N.; MORENO, A. M. Basics of Software Engineering Experintentation. Madrid: Springer Publishing Company, Incorporated, 2010. ISBN 9781441950116.

KAELBLING L. P.; GALLAGHER, T. & PEREZ, R.. Kinect hand detection. http://www.csail.mit.edu/node/1392. Acesso em: 14 nov. 2013.

KHALILI, A. H. OpenCV Tutorial, Sharif University of Technology. 2007.

KIM, D. J.; CHUNG, K. W. & HONG, K. S.. Person authentication using face, teeth, and voice modalities for mobile device security. IEEE Transactions on Consumer Electronics, vol. 56, no. 4, pp. 2678-2685, Nov. 2010

KIM, D.; LEE, S.; SOHN M.. Face Recognition via Local Directional Pattern. International Journal of Security and Its Applications. Vol. 7, No. 2, March, 2013.

KSHIRSAGAR, V. P.; BAVISKAR, M. R. & GAIKWAD, M. E.. Face recognition using Eigenfaces, Computer Research and Development (ICCRD), 3rd International Conference on, vol. 2, no., pp. 302-306, 11-13, 2011.

LAGANIÈRE, R. OpenCV 2: Computer Vision Application Programming Cookbook, 2011.

LAWRENCE, S.; GILES, C. L.; TSOI, A. C. & BACK, A. D.. Face recognition: A Convolutional Neural-Network Approach. IEEE Trans. Neural Networks, Special Issue on Neural Networks and Pattern Recognition. vol. 8, nº. 1, (1997), pp. 98-113.

LI, B. Y. L.; MIAN, A. S.; LIU, W. & KRISHNA A.. Using kinect for face recognition under varying poses, expressions, illumination and disguise. In IEEE Workshop on Applications of Computer Vision (WACV), USA, pages 186–192, 2013.

LIU, C. & WECHSLER H.. Comparative Assessment of Independent Component Analysis (ICA) for Face Recognition. International Conference on Audio and Video Based Biometric Person Authentication, Washigton, D.C., 1999.

MARTINS, G. dos S.. Kinect – Innovative Face Recognition System. Dissertação (Mestrado Integrado em Engenharia de Redes e Sistemas Informáticos) – Departamento de Ciência de Computadores. Faculdade de Ciência da Universidade do Porto (FCUP). 2013.

MASCARENHAS, S. Metodologia Científica. PEARSON BRASIL, 2010. ISBN 9788564574595. Disponível em: . Acesso em: 02 abr. 2014.

MATOS, H. J. S.. Reconhecimento Biométrico baseado na Geometria da Mão. 2011. 115 f. Dissertação (Mestrado Integrado em Engenharia Electrotécnica e de Computadores). Faculdade de Engenharia da Universidade do Porto. Porto/Portugal. Jan. 2011.

MICROSOFT, Kinect for Windows SDK. Disponível em: http://msdn.microsoft.com/en-us/library/hh855347. Acesso em: 10 set. 2013.

MORAES, A. F.. Método para Avaliação da Tecnologia Biométrica na Segurança de Aeroportos. 2006. 230 f. Dissertação (Mestrado em Engenharia Elétrica), Universidade de São Paulo, São Paulo, 2006.

MORAN, T.. The Command Language Grammars: a representation for the user interactive computer systems. International Journal of Man-Machine Studies, 15, 3- 50, 1981.

MUKERJEE, A. ; GUHA P.. Skeletal Tracking Using Microsoft Kinect.; Department of Computer Science and Engineering, IIT Kanpur. May 30, 2012.

NOGUEIRA, Amélia Regina Batista. Percepção e Representação Gráfica: A “Geograficidade” nos Mapas Mentais dos Comandantes no Amazonas. Tese de doutorado. Departamento de Geografia da USP. São Paulo, 2001.

NUNES, M.; REHEM, A.; BEZERRA, J.; ROCHA, A.; SANTOS, C.; Uso do Kinect para Estração de Características Afetivas do Usuário. Disponível em: . Acesso em: 19 set. 2013.

OLIVEIRA, 2011 et al.. News Browsing System: Multimodal Analysis. University of Minas Gerais – Department of Computer Science. Dec. 2011.

OPENCV - Open Source Computer Vision Library: biblioteca de visão computacional open source. Estados Unidos, Intel Corporation, 2001 [436 p.]. Disponível em: . Acesso em: 12 jan. 2012.

PANIAGUA, F. S.. Object recognition using the kinect. Master Thesis, School of Computer Science and Communication, Royal Institute of Technology, 2011.

PHILLIPS, P. J.; ROSENFELD, A.; ZHAO, W. & CHELLAPPA, R.. Face recognition: A literature survey. ACM Computing Surveys, Vol. 35, No. 4, December 2003, pp. 399– 458.

PRABHAKAR, S.. Fingerprint Classification and Matching Using a Filterbank, PhD Thesis, Michigan State University, 2001.

PRODOSSIMO, F. C.; CHIDAMBARAM, C.; LOPES, H. S. Otimização da Detecção de Olhos em Imagens Faciais utilizando os Algoritmos Colônia de Abelhas Artificiais e Harmony Search. In: X CONGRESSO BRASILEITO DE INTELIÊNCIA COMPUTACIONAL, 2011. Fortaleza. Anais do X Congresso Brasileiro de Inteligência Computacional (CBIC 2011).

QUEIROZ, Corina Jará de. Análise de Transformações Geométricas para o Georreferenciamento de Imagens do Satélite CBERS-I. Dissertação de Mestrado. UFRGS - CEPSRM, 2003. Disponível em www.ufrgs.br/srm/DissertaçõesPos/A18.html. Acesso em: 02 abr. 2014.

RAMA, L. R.; BABU G. R. & KISHORE L.. Face Recognition Based on Eigen Features of Multi Scaled Face Components and Artificial Neural Network, International Journal of Security and Its Applications (IJSIA), vol. 5, no. 3, SERSC, (2012), pp. 23-44.

RAMPAZZO, L. Metodologia científica. Edições Loyola, 2005. ISBN 9788515024988. Disponível em: .

REHEM, A. N.; SANTOS, C. A. S. & ANDRADE, M. V. R. Interfaces para Aplicações de Interação Natural Baseadas na API OpenNI e na Plataforma Kinect. Tópicos Especiais em Banco de Dados, Multimídia e Web. Webmedia 2011.

Richard LeadBetter. PrimeSense: Além do Natal. Publicado Sábado, 3 Abril 2010. Disponível em: . Acesso em: 20 nov. 2013.

SANTOS, A. L. dos.. Gerenciamento de identidades: Segurança da informação. Rio de Janeiro: Brasport, 2007.

SANTOS, R. L. G. dos; MORAES, A. de.. Ergonomização da interação homem- computador: abordagem heurística para avaliação da usabilidade de interfaces. Rio de Janeiro, 2000. 184 p. Dissertação (Mestrado) – Departamento de Artes & Design, Pontifícia Universidade Católica do Rio de Janeiro, Rio de Janeiro, 2006.

SANTOS, S. L. & TEIXEIRA, F. G. Design de uma Interface de Interação Tridimensional com Foco na Usabilidade e no Desempenho Gráfico. Design & Tecnologia, Porto Alegre, v. 1, n. 1, p. 39-50, 2010.

SHIEH, M. Y.; HSIEH, T. M.. Fast Facial Detection by Depth Map Analysis. Department of Electrical Engineering Southern Taiwan University of Science and Technology, Tainan 710, Taiwan, 2013.

SILVA, A. I. S., CARVALHO, N. P., NETO, P. A. S.. Uma Aplicação de Biometria na Web Voltada para Planos de Saúde. RECIIS, Rio de Janeiro, v. 4, n.5, p.31-39, Dez. 2010.

SIMA, A. F.; Autenticação forte: aplicações e desafios para a computação móvel. Conferência IADIS Ibero-Americana www/Internet, [S.I.], 2006. Disponível em: . Acesso em: 14/03/2014.

SOUZA, C.S.. (1999) Semiotic engineering principles for evaluating for evaluating end-user programming environments. Em Lucena, C. J. P. (ed.) Monografias em Ciência da Computação. Departamento de Informática. PUC-Rio Inf. MCC 10/99. Rio de Janeiro. 23p.

SPRING: Integrating remote sensing and GIS by object-oriented data modelling. Camara G, Souza RCM, Freitas UM, Garrido J . Computers & Graphics, 20: (3) 395- 403, May-Jun 1996.

SUAREZ, J. & MURPHY R. R. (2012).. Hand gesture recognition with depth images: A review. RO-MAN, 2012 IEEE.

SUCUL. H. R. Sucupira Jr. Uma Metodologia para Avaliação de Pacotes de Software Biométricos. Dissertação de Mestrado, Departamento de Comunicações, Faculdade de Engenharia Elétrica e de Computação, Universidade Estadual de Campinas, Abril 2004.

TAN, X. & TRIGGS, B.. Fusing Gabor and LBP feature sets for kernel-based face recognition, Proceedings of the Third International Conference on Analysis and Modeling of Faces and Gestures, (2007).

TEIXEIRA, R. F. da S.. Transformação Multi-escala para Segmentação de Impressões digitais. 2011. 65f. Dissertação (Mestrado em Ciência da Computação) – Instituto de Computação, UNICAMP, Campinas.

TOGORES, T. Um Reconhecedor de Gestos para o Kinect. Instituto de Matemática e Estatística. Departamento de Ciência da Computação. Universidade de São Paulo. Set. 2011.

TRAVASSOS, G.; GUROV, D.; AMARAL, E. Introdução à engenharia de software experimental. Rio de Janeiro, 2002. Disponível em: .

TURK M. & PENTLAND, A.. Eigenfaces for recognition. Journal of Cognitive Neuroscience, vol. 3, No 1, pp. 71-86, 1991.

TURK M. & PENTLAND, A.. Face recognition using eigenfaces. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 1991.

VIOLA, P & JONES, M.. Rapid Object Detection Using a Boosted Cascade of Simple Features. Proc. IEEE Int’l Conf. Computer Vision and Pattern Recognition, volume 1, pages 511 – 518, 2001.

VIOLA, P. & JONES, M.. Robust Real-Time Face Detection. International Journal of computer Vision 57(2), 137-154, 2004.

WiGo team. Promoting the mobility and, improving quality of life. Disponível em: Acesso em: 17 nov. 2013. WILSON, P. & FERNANDEZ, J.. Facial Feature Detection Using Haar Classifiers, The Journal of Computing Sciences in Colleges, vol. 21, no. 4, April 2006, 127-133.

XU, W. & LEE, E.. Human Face Recognition Based on Improved D-LDA and Integrated BPNNs Algorithms. International Journal of Security and Its Applications (IJSIA), vol. 6, no. 2, SERSC, (2012), pp. 121-126.

YANG, J.; ZHANG, D.; FRANGI, A. F. & YANG, J.. Two-dimensional PCA: A New Approach to Appearance-based Face Representation and Recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 26, No. 1. (2004), pp. 131-137.

ZABULIS, X.; BALTZAKIS, H.; ARGYROS, A.A.. Vision-based Hand Gesture Recognition for Human-Computer Interaction. in "The Universal Access Handbook", Lawrence Erlbaum Associates, Inc. (LEA), Series on "Human Factors and Ergonomics", ISBN: 978-0-8058-6280-5, pp. 34.1 – 34.30, Jun. 2009.

ZALEVSKY, Z., et al., Method and System for Object Reconstruction. USA, 19 set. 2007.


Apontamentos

  • Não há apontamentos.




Projetos, Dissertações e Teses em Sistemas de Informação e Gestão do Conhecimento
ISSN 2358-5501 (Online)