A deep learning approach for emergency vehicles classification and localization using acoustic sensors

Detalhes bibliográficos
Ano de defesa: 2021
Autor(a) principal: Hoffmann, Abdul Mohamad Kadri, 1992-
Orientador(a): Ribeiro, Eduardo Parente, 1967-
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: eng
Instituição de defesa: Não Informado pela instituição
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Indústria automobilística
Engenharia Elétrica
Detectores
Link de acesso: https://hdl.handle.net/1884/73445
Resumo: Orientador: Prof. Dr. Eduardo Parente Ribeiro
id UFPR_28828839547313472a3334bbe06480f9
oai_identifier_str oai:acervodigital.ufpr.br:1884/73445
network_acronym_str UFPR
network_name_str Repositório Institucional da UFPR
repository_id_str
spelling Hoffmann, Abdul Mohamad Kadri, 1992-Huber, WernerUniversidade Federal do Paraná. Setor de Tecnologia. Programa de Pós-Graduação em Engenharia ElétricaRibeiro, Eduardo Parente, 1967-2022-03-21T13:50:31Z2022-03-21T13:50:31Z2021https://hdl.handle.net/1884/73445Orientador: Prof. Dr. Eduardo Parente RibeiroCoorientador: Prof. Dr. Werner HuberDissertação (mestrado) - Universidade Federal do Paraná, Setor de Tecnologia, Programa de Pós-Graduação em Engenharia Elétrica. Defesa : Curitiba, 27/08/2020Inclui referências: p. 103-106Resumo: A indústria automotiva tem como uma de suas tecnologias mais notáveis e promissoras as funções de sistemas avançados de assistência ao condutor-Advanced Driver Assistance System (ADAS) e consequentemente a direção autônoma. Isto não só deve afetar positivamente a segurança atualmente encontrada no trafego urbano, mas deve revolucionar todo o modelo de negócios dessa indústria, como já se observa. Este projeto objetiva investigar se sensores acústicos automotivos podem ser considerados uma contribuição tecnológica viável ao atual grupo de sensores usualmente utilizados. Uma rede neural convolucional (CNN) foi treinada como modelo de classificação binário para detecção de veículos de emergência. O classificador que teve melhor desempenho foi obtido utilizando uma versão modificada da arquitetura AlexNet, treinada com uma variedade de sons de trafego urbano e sirenes de veículos de emergência de diversas regiões do mundo. Foi utilizado um total de 23 horas de gravação. Os segmentos de áudio foram tratados e pré-processados ate chegar a forma de espectrogramas-mel, os quais foram utilizados na camada de entrada da CNN. Isto permitiu ao modelo uma melhor capacidade de generalização sobre o conceito da presença, ou não, de um veiculo de emergência. Obteve-se um score-f1 médio de 0,935 e 0,895 no treinamento e validação cruzada, respectivamente, e um valor de 98% de área sob a curva ROC (AUC). Também se avaliou a localização da fonte sonora utilizando a técnica de correlação-cruzada generalizada - Generalized Cross-Correlation (GCC) para estimar a diferença de tempo de chegada - time difference of arrival (TDOA) das frentes de ondas, e um conjunto de regras heurísticas para obter a direção de chegada - direction of arrival (DOA). Assim se obteve o azimute relativo da fonte, com acurácia de 89,89% em cenários estáticos, mas somente 4,88% em cenários dinâmicos. O conjunto de treinamento utilizado foi uma mistura entre o banco de áudios AudioSet and ensaios gravados nas premissas Center of Automotive Research on Integrated Safety Systems and Measurement Area (CARISSMA). Os resultados da classificação foram melhores do que os encontrados em outros estudos de classificação de áudio em situações de trânsito, enquanto os resultados de localização de fontes sonoras só se mostraram eficientes em cenários estáticos.Abstract: One of the most prominent and promising technologies in the modern automotive industry is the advent of Advanced Driver Assistance System (ADAS) and the autonomous driving. It may not only change safety levels currently found in traffic, but also revolutionize the whole automotive industry business model, as we can see hints of it happening already. This project investigates whether audio sensors can be a technological viable addition to the current sensor set vehicle commonly use. A Convolutional Neural Network (CNN) was trained to classify auditory scenarios as containing emergency vehicles or not containing emergency vehicles. The best performing classifier was obtained using a slightly modified AlexNet architecture, trained with audio excerpts of various urban and traffic scenarios as well as emergency vehicle sirens from all over the world, totaling a duration of almost 23 hours. These excerpts went through a series pre-processing steps, and transformation to mel-spectrograms that were fed to CNN's input layer. That granted the model better generalization over the class of emergency vehicles, allowing the model to achieve class-averaged f1-scores for the training and validation sets of 0.935 and 0.895, respectively. Using the latter dataset, a 98% Area Under the ROC Curve (AUC) was achieved. Moreover, a sound source localization algorithm was employed using generalized cross-correlation (GCC) to provide the source's audio wavefront Time-Difference of Arrival (TDOA) on the microphone array. A group of heuristic rules were applied to disambiguate these values, transforming to Direction of Arrival (DOA). The obtained relative azimuth, presented 89.89% accuracy in static scenarios, but only 4.88% accuracy in dynamic scenarios. The training data was assembled using a mixture between AudioSet dataset and tests recorded in enter of Automotive Research on Integrated Safety Systems and Measurement Area (CARISSMA) facilities, and the latter source was also used for source localization estimation and could be validated against data recorded using the Automative Dynamic Motion Analyzer (ADMA). Results show that classification results were better than the ones found in closely correlated works, but source localization results only showed efficiency in static scenarios.1 arquivo (110 p.) : il. (algumas color.).application/pdfIndústria automobilísticaEngenharia ElétricaDetectoresA deep learning approach for emergency vehicles classification and localization using acoustic sensorsinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisengreponame:Repositório Institucional da UFPRinstname:Universidade Federal do Paraná (UFPR)instacron:UFPRinfo:eu-repo/semantics/openAccessORIGINALR - D - ABDUL MOHAMAD KADRI HOFFMANN.pdfapplication/pdf9957986https://acervodigital.ufpr.br/bitstream/1884/73445/1/R%20-%20D%20-%20ABDUL%20MOHAMAD%20KADRI%20HOFFMANN.pdf72d2d7124d0da07ca881310a395b6129MD51open access1884/734452022-03-21 10:50:31.312open accessoai:acervodigital.ufpr.br:1884/73445Repositório InstitucionalPUBhttp://acervodigital.ufpr.br/oai/requestinformacaodigital@ufpr.bropendoar:3082022-03-21T13:50:31Repositório Institucional da UFPR - Universidade Federal do Paraná (UFPR)false
dc.title.pt_BR.fl_str_mv A deep learning approach for emergency vehicles classification and localization using acoustic sensors
title A deep learning approach for emergency vehicles classification and localization using acoustic sensors
spellingShingle A deep learning approach for emergency vehicles classification and localization using acoustic sensors
Hoffmann, Abdul Mohamad Kadri, 1992-
Indústria automobilística
Engenharia Elétrica
Detectores
title_short A deep learning approach for emergency vehicles classification and localization using acoustic sensors
title_full A deep learning approach for emergency vehicles classification and localization using acoustic sensors
title_fullStr A deep learning approach for emergency vehicles classification and localization using acoustic sensors
title_full_unstemmed A deep learning approach for emergency vehicles classification and localization using acoustic sensors
title_sort A deep learning approach for emergency vehicles classification and localization using acoustic sensors
author Hoffmann, Abdul Mohamad Kadri, 1992-
author_facet Hoffmann, Abdul Mohamad Kadri, 1992-
author_role author
dc.contributor.other.pt_BR.fl_str_mv Huber, Werner
Universidade Federal do Paraná. Setor de Tecnologia. Programa de Pós-Graduação em Engenharia Elétrica
dc.contributor.author.fl_str_mv Hoffmann, Abdul Mohamad Kadri, 1992-
dc.contributor.advisor1.fl_str_mv Ribeiro, Eduardo Parente, 1967-
contributor_str_mv Ribeiro, Eduardo Parente, 1967-
dc.subject.por.fl_str_mv Indústria automobilística
Engenharia Elétrica
Detectores
topic Indústria automobilística
Engenharia Elétrica
Detectores
description Orientador: Prof. Dr. Eduardo Parente Ribeiro
publishDate 2021
dc.date.issued.fl_str_mv 2021
dc.date.accessioned.fl_str_mv 2022-03-21T13:50:31Z
dc.date.available.fl_str_mv 2022-03-21T13:50:31Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/1884/73445
url https://hdl.handle.net/1884/73445
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 1 arquivo (110 p.) : il. (algumas color.).
application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFPR
instname:Universidade Federal do Paraná (UFPR)
instacron:UFPR
instname_str Universidade Federal do Paraná (UFPR)
instacron_str UFPR
institution UFPR
reponame_str Repositório Institucional da UFPR
collection Repositório Institucional da UFPR
bitstream.url.fl_str_mv https://acervodigital.ufpr.br/bitstream/1884/73445/1/R%20-%20D%20-%20ABDUL%20MOHAMAD%20KADRI%20HOFFMANN.pdf
bitstream.checksum.fl_str_mv 72d2d7124d0da07ca881310a395b6129
bitstream.checksumAlgorithm.fl_str_mv MD5
repository.name.fl_str_mv Repositório Institucional da UFPR - Universidade Federal do Paraná (UFPR)
repository.mail.fl_str_mv informacaodigital@ufpr.br
_version_ 1847526032552230912

Registros relacionados