Detecção de edições em áudios baseada na análise tempo-frequência e em redes neurais convolucionais

Detalhes bibliográficos
Ano de defesa: 2023
Autor(a) principal: Cordeiro Junior, Marcos
Orientador(a): Não Informado pela instituição
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Universidade Tecnológica Federal do Paraná
Curitiba
Brasil
Programa de Pós-Graduação em Engenharia Elétrica e Informática Industrial
UTFPR
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Link de acesso: http://repositorio.utfpr.edu.br/jspui/handle/1/33191
Resumo: Tampering detection is one of the most important topics in forensic analysis of digital audio. Splicing corresponds to the insertion of a segment of signal from a different audio into the original audio record and is included among the most common categories of tampering. Convolutional neural networks (CNNs) have demonstrated effectiveness in various audio processing tasks, which motivates research into different methods of obtaining input data. The spectrogram is a useful representation for visualizing the temporal evolution of the frequency spectrum of an audio, with different signal processing techniques available for its generation. In this study, the development of an automatic splicing detection model in digital audio using CNNs was carried out. The audio spectrogram, computed using different techniques such as Short-Time Fourier Transform (STFT) on a linear scale, STFT on a mel scale, and Constant Q Transform (CQT), was directly provided to the network as input data. A comparative study was conducted to evaluate the impact of the choice of time-frequency representation on the model’s performance in correctly classifying the original and edited audios.
id UTFPR-12_f59967eed4dd1d58c9344b8b1bb96b3c
oai_identifier_str oai:repositorio.utfpr.edu.br:1/33191
network_acronym_str UTFPR-12
network_name_str Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
repository_id_str
spelling Detecção de edições em áudios baseada na análise tempo-frequência e em redes neurais convolucionaisAudio tampering detection based on time-frequency analysis and convolutional neural networksEditor de audio digitalSom - Registro e reprodução - Técnicas digitaisProcessamento de sinaisAprendizado do computadorAprendizado profundo (Aprendizado do computador)Redes neurais (Computação)Digital audio editorsSound - Recording and reproducing - Digital techniquesSignal processingMachine learningDeep learning (Machine learning)Neural networks (Computer science)CNPQ::ENGENHARIAS::ENGENHARIA ELETRICAEngenharia ElétricaTampering detection is one of the most important topics in forensic analysis of digital audio. Splicing corresponds to the insertion of a segment of signal from a different audio into the original audio record and is included among the most common categories of tampering. Convolutional neural networks (CNNs) have demonstrated effectiveness in various audio processing tasks, which motivates research into different methods of obtaining input data. The spectrogram is a useful representation for visualizing the temporal evolution of the frequency spectrum of an audio, with different signal processing techniques available for its generation. In this study, the development of an automatic splicing detection model in digital audio using CNNs was carried out. The audio spectrogram, computed using different techniques such as Short-Time Fourier Transform (STFT) on a linear scale, STFT on a mel scale, and Constant Q Transform (CQT), was directly provided to the network as input data. A comparative study was conducted to evaluate the impact of the choice of time-frequency representation on the model’s performance in correctly classifying the original and edited audios.A detecção de edições é um dos mais importantes tópicos na análise forense de áudios digitais. A interpolação (splicing), caracterizada pela inserção de um trecho de sinal proveniente de um áudio distinto no registro de áudio original, é incluída entre as categorias mais recorrentes de adulterações. As redes neurais convolucionais (CNNs) têm demonstrado eficácia em diversas tarefas de processamento de áudio, o que motiva a pesquisa por diferentes formas de obtenção dos dados de entrada. O espectrograma é uma representação útil para a visualização da evolução temporal do espectro de frequências de um áudio, sendo que diferentes técnicas de processamento de sinais podem ser utilizadas para a sua obtenção. No presente trabalho, foi realizado o desenvolvimento de um modelo de detecção automática de interpolação em áudios digitais com o uso de CNNs. O espectrograma dos áudios, calculado através de diferentes técnicas: transformada de Fourier de tempo curto (STFT) na escala linear, STFT na escala mel e transformada Q constante (CQT), foi diretamente fornecido à rede como dado de entrada. Um estudo comparativo foi conduzido avaliando o impacto da escolha da representação no domínio tempo-frequência no desempenho do modelo em classificar corretamente os áudios originais e editados.Universidade Tecnológica Federal do ParanáCuritibaBrasilPrograma de Pós-Graduação em Engenharia Elétrica e Informática IndustrialUTFPRPipa, Daniel Rodrigueshttps://orcid.org/0000-0002-9398-332Xhttp://lattes.cnpq.br/5604517186200940Lazzaretti, André Eugêniohttps://orcid.org/0000-0003-1861-3369http://lattes.cnpq.br/7649611874688878Pipa, Daniel Rodrigueshttps://orcid.org/0000-0002-9398-332Xhttp://lattes.cnpq.br/5604517186200940Biscainho, Luiz Wagner Pereirahttps://orcid.org/0000-0003-2959-6963http://lattes.cnpq.br/1765239890846505Cordeiro Junior, Marcos2024-01-16T17:02:24Z2024-01-16T17:02:24Z2023-11-28info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfCORDEIRO JUNIOR, Marcos. Detecção de edições em áudios baseada na análise tempo-frequência e em redes neurais convolucionais. 2024. Dissertação (Mestrado em Engenharia Elétrica e Informática Industrial) - Universidade Tecnológica Federal do Paraná, Curitiba, 2023.http://repositorio.utfpr.edu.br/jspui/handle/1/33191porhttp://creativecommons.org/licenses/by/4.0/info:eu-repo/semantics/openAccessreponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))instname:Universidade Tecnológica Federal do Paraná (UTFPR)instacron:UTFPR2024-01-17T06:07:31Zoai:repositorio.utfpr.edu.br:1/33191Repositório InstitucionalPUBhttp://repositorio.utfpr.edu.br:8080/oai/requestriut@utfpr.edu.br || sibi@utfpr.edu.bropendoar:2024-01-17T06:07:31Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)false
dc.title.none.fl_str_mv Detecção de edições em áudios baseada na análise tempo-frequência e em redes neurais convolucionais
Audio tampering detection based on time-frequency analysis and convolutional neural networks
title Detecção de edições em áudios baseada na análise tempo-frequência e em redes neurais convolucionais
spellingShingle Detecção de edições em áudios baseada na análise tempo-frequência e em redes neurais convolucionais
Cordeiro Junior, Marcos
Editor de audio digital
Som - Registro e reprodução - Técnicas digitais
Processamento de sinais
Aprendizado do computador
Aprendizado profundo (Aprendizado do computador)
Redes neurais (Computação)
Digital audio editors
Sound - Recording and reproducing - Digital techniques
Signal processing
Machine learning
Deep learning (Machine learning)
Neural networks (Computer science)
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA
Engenharia Elétrica
title_short Detecção de edições em áudios baseada na análise tempo-frequência e em redes neurais convolucionais
title_full Detecção de edições em áudios baseada na análise tempo-frequência e em redes neurais convolucionais
title_fullStr Detecção de edições em áudios baseada na análise tempo-frequência e em redes neurais convolucionais
title_full_unstemmed Detecção de edições em áudios baseada na análise tempo-frequência e em redes neurais convolucionais
title_sort Detecção de edições em áudios baseada na análise tempo-frequência e em redes neurais convolucionais
author Cordeiro Junior, Marcos
author_facet Cordeiro Junior, Marcos
author_role author
dc.contributor.none.fl_str_mv Pipa, Daniel Rodrigues
https://orcid.org/0000-0002-9398-332X
http://lattes.cnpq.br/5604517186200940
Lazzaretti, André Eugênio
https://orcid.org/0000-0003-1861-3369
http://lattes.cnpq.br/7649611874688878
Pipa, Daniel Rodrigues
https://orcid.org/0000-0002-9398-332X
http://lattes.cnpq.br/5604517186200940
Biscainho, Luiz Wagner Pereira
https://orcid.org/0000-0003-2959-6963
http://lattes.cnpq.br/1765239890846505
dc.contributor.author.fl_str_mv Cordeiro Junior, Marcos
dc.subject.por.fl_str_mv Editor de audio digital
Som - Registro e reprodução - Técnicas digitais
Processamento de sinais
Aprendizado do computador
Aprendizado profundo (Aprendizado do computador)
Redes neurais (Computação)
Digital audio editors
Sound - Recording and reproducing - Digital techniques
Signal processing
Machine learning
Deep learning (Machine learning)
Neural networks (Computer science)
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA
Engenharia Elétrica
topic Editor de audio digital
Som - Registro e reprodução - Técnicas digitais
Processamento de sinais
Aprendizado do computador
Aprendizado profundo (Aprendizado do computador)
Redes neurais (Computação)
Digital audio editors
Sound - Recording and reproducing - Digital techniques
Signal processing
Machine learning
Deep learning (Machine learning)
Neural networks (Computer science)
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA
Engenharia Elétrica
description Tampering detection is one of the most important topics in forensic analysis of digital audio. Splicing corresponds to the insertion of a segment of signal from a different audio into the original audio record and is included among the most common categories of tampering. Convolutional neural networks (CNNs) have demonstrated effectiveness in various audio processing tasks, which motivates research into different methods of obtaining input data. The spectrogram is a useful representation for visualizing the temporal evolution of the frequency spectrum of an audio, with different signal processing techniques available for its generation. In this study, the development of an automatic splicing detection model in digital audio using CNNs was carried out. The audio spectrogram, computed using different techniques such as Short-Time Fourier Transform (STFT) on a linear scale, STFT on a mel scale, and Constant Q Transform (CQT), was directly provided to the network as input data. A comparative study was conducted to evaluate the impact of the choice of time-frequency representation on the model’s performance in correctly classifying the original and edited audios.
publishDate 2023
dc.date.none.fl_str_mv 2023-11-28
2024-01-16T17:02:24Z
2024-01-16T17:02:24Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv CORDEIRO JUNIOR, Marcos. Detecção de edições em áudios baseada na análise tempo-frequência e em redes neurais convolucionais. 2024. Dissertação (Mestrado em Engenharia Elétrica e Informática Industrial) - Universidade Tecnológica Federal do Paraná, Curitiba, 2023.
http://repositorio.utfpr.edu.br/jspui/handle/1/33191
identifier_str_mv CORDEIRO JUNIOR, Marcos. Detecção de edições em áudios baseada na análise tempo-frequência e em redes neurais convolucionais. 2024. Dissertação (Mestrado em Engenharia Elétrica e Informática Industrial) - Universidade Tecnológica Federal do Paraná, Curitiba, 2023.
url http://repositorio.utfpr.edu.br/jspui/handle/1/33191
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv http://creativecommons.org/licenses/by/4.0/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv http://creativecommons.org/licenses/by/4.0/
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Tecnológica Federal do Paraná
Curitiba
Brasil
Programa de Pós-Graduação em Engenharia Elétrica e Informática Industrial
UTFPR
publisher.none.fl_str_mv Universidade Tecnológica Federal do Paraná
Curitiba
Brasil
Programa de Pós-Graduação em Engenharia Elétrica e Informática Industrial
UTFPR
dc.source.none.fl_str_mv reponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
instname:Universidade Tecnológica Federal do Paraná (UTFPR)
instacron:UTFPR
instname_str Universidade Tecnológica Federal do Paraná (UTFPR)
instacron_str UTFPR
institution UTFPR
reponame_str Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
collection Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
repository.name.fl_str_mv Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)
repository.mail.fl_str_mv riut@utfpr.edu.br || sibi@utfpr.edu.br
_version_ 1850498359670865920