Detecção de edições em áudios baseada na análise tempo-frequência e em redes neurais convolucionais
| Ano de defesa: | 2023 |
|---|---|
| Autor(a) principal: | |
| Orientador(a): | |
| Banca de defesa: | |
| Tipo de documento: | Dissertação |
| Tipo de acesso: | Acesso aberto |
| Idioma: | por |
| Instituição de defesa: |
Universidade Tecnológica Federal do Paraná
Curitiba Brasil Programa de Pós-Graduação em Engenharia Elétrica e Informática Industrial UTFPR |
| Programa de Pós-Graduação: |
Não Informado pela instituição
|
| Departamento: |
Não Informado pela instituição
|
| País: |
Não Informado pela instituição
|
| Palavras-chave em Português: | |
| Link de acesso: | http://repositorio.utfpr.edu.br/jspui/handle/1/33191 |
Resumo: | Tampering detection is one of the most important topics in forensic analysis of digital audio. Splicing corresponds to the insertion of a segment of signal from a different audio into the original audio record and is included among the most common categories of tampering. Convolutional neural networks (CNNs) have demonstrated effectiveness in various audio processing tasks, which motivates research into different methods of obtaining input data. The spectrogram is a useful representation for visualizing the temporal evolution of the frequency spectrum of an audio, with different signal processing techniques available for its generation. In this study, the development of an automatic splicing detection model in digital audio using CNNs was carried out. The audio spectrogram, computed using different techniques such as Short-Time Fourier Transform (STFT) on a linear scale, STFT on a mel scale, and Constant Q Transform (CQT), was directly provided to the network as input data. A comparative study was conducted to evaluate the impact of the choice of time-frequency representation on the model’s performance in correctly classifying the original and edited audios. |
| id |
UTFPR-12_f59967eed4dd1d58c9344b8b1bb96b3c |
|---|---|
| oai_identifier_str |
oai:repositorio.utfpr.edu.br:1/33191 |
| network_acronym_str |
UTFPR-12 |
| network_name_str |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
| repository_id_str |
|
| spelling |
Detecção de edições em áudios baseada na análise tempo-frequência e em redes neurais convolucionaisAudio tampering detection based on time-frequency analysis and convolutional neural networksEditor de audio digitalSom - Registro e reprodução - Técnicas digitaisProcessamento de sinaisAprendizado do computadorAprendizado profundo (Aprendizado do computador)Redes neurais (Computação)Digital audio editorsSound - Recording and reproducing - Digital techniquesSignal processingMachine learningDeep learning (Machine learning)Neural networks (Computer science)CNPQ::ENGENHARIAS::ENGENHARIA ELETRICAEngenharia ElétricaTampering detection is one of the most important topics in forensic analysis of digital audio. Splicing corresponds to the insertion of a segment of signal from a different audio into the original audio record and is included among the most common categories of tampering. Convolutional neural networks (CNNs) have demonstrated effectiveness in various audio processing tasks, which motivates research into different methods of obtaining input data. The spectrogram is a useful representation for visualizing the temporal evolution of the frequency spectrum of an audio, with different signal processing techniques available for its generation. In this study, the development of an automatic splicing detection model in digital audio using CNNs was carried out. The audio spectrogram, computed using different techniques such as Short-Time Fourier Transform (STFT) on a linear scale, STFT on a mel scale, and Constant Q Transform (CQT), was directly provided to the network as input data. A comparative study was conducted to evaluate the impact of the choice of time-frequency representation on the model’s performance in correctly classifying the original and edited audios.A detecção de edições é um dos mais importantes tópicos na análise forense de áudios digitais. A interpolação (splicing), caracterizada pela inserção de um trecho de sinal proveniente de um áudio distinto no registro de áudio original, é incluída entre as categorias mais recorrentes de adulterações. As redes neurais convolucionais (CNNs) têm demonstrado eficácia em diversas tarefas de processamento de áudio, o que motiva a pesquisa por diferentes formas de obtenção dos dados de entrada. O espectrograma é uma representação útil para a visualização da evolução temporal do espectro de frequências de um áudio, sendo que diferentes técnicas de processamento de sinais podem ser utilizadas para a sua obtenção. No presente trabalho, foi realizado o desenvolvimento de um modelo de detecção automática de interpolação em áudios digitais com o uso de CNNs. O espectrograma dos áudios, calculado através de diferentes técnicas: transformada de Fourier de tempo curto (STFT) na escala linear, STFT na escala mel e transformada Q constante (CQT), foi diretamente fornecido à rede como dado de entrada. Um estudo comparativo foi conduzido avaliando o impacto da escolha da representação no domínio tempo-frequência no desempenho do modelo em classificar corretamente os áudios originais e editados.Universidade Tecnológica Federal do ParanáCuritibaBrasilPrograma de Pós-Graduação em Engenharia Elétrica e Informática IndustrialUTFPRPipa, Daniel Rodrigueshttps://orcid.org/0000-0002-9398-332Xhttp://lattes.cnpq.br/5604517186200940Lazzaretti, André Eugêniohttps://orcid.org/0000-0003-1861-3369http://lattes.cnpq.br/7649611874688878Pipa, Daniel Rodrigueshttps://orcid.org/0000-0002-9398-332Xhttp://lattes.cnpq.br/5604517186200940Biscainho, Luiz Wagner Pereirahttps://orcid.org/0000-0003-2959-6963http://lattes.cnpq.br/1765239890846505Cordeiro Junior, Marcos2024-01-16T17:02:24Z2024-01-16T17:02:24Z2023-11-28info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfCORDEIRO JUNIOR, Marcos. Detecção de edições em áudios baseada na análise tempo-frequência e em redes neurais convolucionais. 2024. Dissertação (Mestrado em Engenharia Elétrica e Informática Industrial) - Universidade Tecnológica Federal do Paraná, Curitiba, 2023.http://repositorio.utfpr.edu.br/jspui/handle/1/33191porhttp://creativecommons.org/licenses/by/4.0/info:eu-repo/semantics/openAccessreponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))instname:Universidade Tecnológica Federal do Paraná (UTFPR)instacron:UTFPR2024-01-17T06:07:31Zoai:repositorio.utfpr.edu.br:1/33191Repositório InstitucionalPUBhttp://repositorio.utfpr.edu.br:8080/oai/requestriut@utfpr.edu.br || sibi@utfpr.edu.bropendoar:2024-01-17T06:07:31Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)false |
| dc.title.none.fl_str_mv |
Detecção de edições em áudios baseada na análise tempo-frequência e em redes neurais convolucionais Audio tampering detection based on time-frequency analysis and convolutional neural networks |
| title |
Detecção de edições em áudios baseada na análise tempo-frequência e em redes neurais convolucionais |
| spellingShingle |
Detecção de edições em áudios baseada na análise tempo-frequência e em redes neurais convolucionais Cordeiro Junior, Marcos Editor de audio digital Som - Registro e reprodução - Técnicas digitais Processamento de sinais Aprendizado do computador Aprendizado profundo (Aprendizado do computador) Redes neurais (Computação) Digital audio editors Sound - Recording and reproducing - Digital techniques Signal processing Machine learning Deep learning (Machine learning) Neural networks (Computer science) CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA Engenharia Elétrica |
| title_short |
Detecção de edições em áudios baseada na análise tempo-frequência e em redes neurais convolucionais |
| title_full |
Detecção de edições em áudios baseada na análise tempo-frequência e em redes neurais convolucionais |
| title_fullStr |
Detecção de edições em áudios baseada na análise tempo-frequência e em redes neurais convolucionais |
| title_full_unstemmed |
Detecção de edições em áudios baseada na análise tempo-frequência e em redes neurais convolucionais |
| title_sort |
Detecção de edições em áudios baseada na análise tempo-frequência e em redes neurais convolucionais |
| author |
Cordeiro Junior, Marcos |
| author_facet |
Cordeiro Junior, Marcos |
| author_role |
author |
| dc.contributor.none.fl_str_mv |
Pipa, Daniel Rodrigues https://orcid.org/0000-0002-9398-332X http://lattes.cnpq.br/5604517186200940 Lazzaretti, André Eugênio https://orcid.org/0000-0003-1861-3369 http://lattes.cnpq.br/7649611874688878 Pipa, Daniel Rodrigues https://orcid.org/0000-0002-9398-332X http://lattes.cnpq.br/5604517186200940 Biscainho, Luiz Wagner Pereira https://orcid.org/0000-0003-2959-6963 http://lattes.cnpq.br/1765239890846505 |
| dc.contributor.author.fl_str_mv |
Cordeiro Junior, Marcos |
| dc.subject.por.fl_str_mv |
Editor de audio digital Som - Registro e reprodução - Técnicas digitais Processamento de sinais Aprendizado do computador Aprendizado profundo (Aprendizado do computador) Redes neurais (Computação) Digital audio editors Sound - Recording and reproducing - Digital techniques Signal processing Machine learning Deep learning (Machine learning) Neural networks (Computer science) CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA Engenharia Elétrica |
| topic |
Editor de audio digital Som - Registro e reprodução - Técnicas digitais Processamento de sinais Aprendizado do computador Aprendizado profundo (Aprendizado do computador) Redes neurais (Computação) Digital audio editors Sound - Recording and reproducing - Digital techniques Signal processing Machine learning Deep learning (Machine learning) Neural networks (Computer science) CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA Engenharia Elétrica |
| description |
Tampering detection is one of the most important topics in forensic analysis of digital audio. Splicing corresponds to the insertion of a segment of signal from a different audio into the original audio record and is included among the most common categories of tampering. Convolutional neural networks (CNNs) have demonstrated effectiveness in various audio processing tasks, which motivates research into different methods of obtaining input data. The spectrogram is a useful representation for visualizing the temporal evolution of the frequency spectrum of an audio, with different signal processing techniques available for its generation. In this study, the development of an automatic splicing detection model in digital audio using CNNs was carried out. The audio spectrogram, computed using different techniques such as Short-Time Fourier Transform (STFT) on a linear scale, STFT on a mel scale, and Constant Q Transform (CQT), was directly provided to the network as input data. A comparative study was conducted to evaluate the impact of the choice of time-frequency representation on the model’s performance in correctly classifying the original and edited audios. |
| publishDate |
2023 |
| dc.date.none.fl_str_mv |
2023-11-28 2024-01-16T17:02:24Z 2024-01-16T17:02:24Z |
| dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
| dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
| format |
masterThesis |
| status_str |
publishedVersion |
| dc.identifier.uri.fl_str_mv |
CORDEIRO JUNIOR, Marcos. Detecção de edições em áudios baseada na análise tempo-frequência e em redes neurais convolucionais. 2024. Dissertação (Mestrado em Engenharia Elétrica e Informática Industrial) - Universidade Tecnológica Federal do Paraná, Curitiba, 2023. http://repositorio.utfpr.edu.br/jspui/handle/1/33191 |
| identifier_str_mv |
CORDEIRO JUNIOR, Marcos. Detecção de edições em áudios baseada na análise tempo-frequência e em redes neurais convolucionais. 2024. Dissertação (Mestrado em Engenharia Elétrica e Informática Industrial) - Universidade Tecnológica Federal do Paraná, Curitiba, 2023. |
| url |
http://repositorio.utfpr.edu.br/jspui/handle/1/33191 |
| dc.language.iso.fl_str_mv |
por |
| language |
por |
| dc.rights.driver.fl_str_mv |
http://creativecommons.org/licenses/by/4.0/ info:eu-repo/semantics/openAccess |
| rights_invalid_str_mv |
http://creativecommons.org/licenses/by/4.0/ |
| eu_rights_str_mv |
openAccess |
| dc.format.none.fl_str_mv |
application/pdf |
| dc.publisher.none.fl_str_mv |
Universidade Tecnológica Federal do Paraná Curitiba Brasil Programa de Pós-Graduação em Engenharia Elétrica e Informática Industrial UTFPR |
| publisher.none.fl_str_mv |
Universidade Tecnológica Federal do Paraná Curitiba Brasil Programa de Pós-Graduação em Engenharia Elétrica e Informática Industrial UTFPR |
| dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) instname:Universidade Tecnológica Federal do Paraná (UTFPR) instacron:UTFPR |
| instname_str |
Universidade Tecnológica Federal do Paraná (UTFPR) |
| instacron_str |
UTFPR |
| institution |
UTFPR |
| reponame_str |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
| collection |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
| repository.name.fl_str_mv |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR) |
| repository.mail.fl_str_mv |
riut@utfpr.edu.br || sibi@utfpr.edu.br |
| _version_ |
1850498359670865920 |