Voice Morphing com base em Aprendizado Wavelet

Detalhes bibliográficos
Ano de defesa: 2023
Autor(a) principal: Lima, Rodrigo da Silva Barboza
Orientador(a): Não Informado pela instituição
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Universidade Estadual Paulista (Unesp)
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Processamento de sinais
Wavelets
Redes neurais artificiais
Voice morphing
Signal processing
Artificial neural networks
Link de acesso: https://hdl.handle.net/11449/251226
Resumo: Algoritmos para conversão de voz, tradicionalmente conhecidos como voice morphing algorithms, têm tido aplicações diversas, tais como a substituição de falas de locutores falescidos ou com o sistema fonatório incapacitado, a possibilidade que determinada música originalmente cantada por um locutor surja com a voz de outro, e assim por diante. Recentemente, tais técnicas têm se tornado mais populares em função dos algoritmos de deep fake, entretanto, a maior desvantagem deles é a dificuldade em criar modelos interpretáveis, assim como ocorre com quaisquer estratégias baseadas em deep learning. Desse modo, neste trabalho, a intenção é a de explorar uma outra possibilidade: a conversão de voz baseada na Transformada Wavelet de Tempo Discreto (DTWT), trabalhando em associação com redes neurais artificiais rasas, que possuem maior possibilidade de gerar modelos interpretáveis. Particularmente, relacionam-se quais os melhores filtros wavelet para conversão de determinados padrões de voz. Testes são realizados com vozes da base de dados TIMIT do Linguistic Data Consortium (LDC) que permitem constatar a viabilidade da estratégia proposta considerando testes de preferência acústica e métricas de distância.
id UNSP_b091c5aa16190682695af1ab76fcf55e
oai_identifier_str oai:repositorio.unesp.br:11449/251226
network_acronym_str UNSP
network_name_str Repositório Institucional da UNESP
repository_id_str
spelling Voice Morphing com base em Aprendizado WaveletVoice Morphing based on Wavelet LearningProcessamento de sinaisWaveletsRedes neurais artificiaisVoice morphingSignal processingArtificial neural networksAlgoritmos para conversão de voz, tradicionalmente conhecidos como voice morphing algorithms, têm tido aplicações diversas, tais como a substituição de falas de locutores falescidos ou com o sistema fonatório incapacitado, a possibilidade que determinada música originalmente cantada por um locutor surja com a voz de outro, e assim por diante. Recentemente, tais técnicas têm se tornado mais populares em função dos algoritmos de deep fake, entretanto, a maior desvantagem deles é a dificuldade em criar modelos interpretáveis, assim como ocorre com quaisquer estratégias baseadas em deep learning. Desse modo, neste trabalho, a intenção é a de explorar uma outra possibilidade: a conversão de voz baseada na Transformada Wavelet de Tempo Discreto (DTWT), trabalhando em associação com redes neurais artificiais rasas, que possuem maior possibilidade de gerar modelos interpretáveis. Particularmente, relacionam-se quais os melhores filtros wavelet para conversão de determinados padrões de voz. Testes são realizados com vozes da base de dados TIMIT do Linguistic Data Consortium (LDC) que permitem constatar a viabilidade da estratégia proposta considerando testes de preferência acústica e métricas de distância.Algorithms for voice conversion, traditionally known as voice morphing algorithms, have been used in a number of applications, such as replacing deceased speakers or those with an incapacitated phonatory system, playing a song as if it had been sung by another speaker, and so on. Recently, such techniques have become more popular due to the deep fake algorithms, however, their biggest disadvantage is the difficulty in creating interpretable models, as happens with any strategies based on deep learning. Thus, in this work, the intention is to explore another possibility: speech conversion based on Discrete Time Wavelet Transform (DTWT) working in association with shallow artificial neural networks, which have greater possibility of generating interpretable models. Particularly, the best wavelet filters for converting certain speech patterns are determined. Tests are performed with voices from the Linguistic Data Consortium (LDC) TIMIT database, being assessed based on acoustic preference tests and distance metrics.Não recebi financiamentoUniversidade Estadual Paulista (Unesp)Guido, Rodrigo Capobianco [UNESP]Lima, Rodrigo da Silva Barboza2023-11-06T19:26:09Z2023-11-06T19:26:09Z2023-09-06info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfLima, Rodrigo da Silva Barboza. Voice Morphing com base em Aprendizado Wavelet. Dissertação (Mestrado em Ciência da Computação). UNESP, Instituto de Biociências, Letras e Ciências Exatas, São José do Rio Preto, 2023.https://hdl.handle.net/11449/251226porinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UNESPinstname:Universidade Estadual Paulista (UNESP)instacron:UNESP2024-12-10T12:26:17Zoai:repositorio.unesp.br:11449/251226Repositório InstitucionalPUBhttp://repositorio.unesp.br/oai/requestrepositoriounesp@unesp.bropendoar:29462024-12-10T12:26:17Repositório Institucional da UNESP - Universidade Estadual Paulista (UNESP)false
dc.title.none.fl_str_mv Voice Morphing com base em Aprendizado Wavelet
Voice Morphing based on Wavelet Learning
title Voice Morphing com base em Aprendizado Wavelet
spellingShingle Voice Morphing com base em Aprendizado Wavelet
Lima, Rodrigo da Silva Barboza
Processamento de sinais
Wavelets
Redes neurais artificiais
Voice morphing
Signal processing
Artificial neural networks
title_short Voice Morphing com base em Aprendizado Wavelet
title_full Voice Morphing com base em Aprendizado Wavelet
title_fullStr Voice Morphing com base em Aprendizado Wavelet
title_full_unstemmed Voice Morphing com base em Aprendizado Wavelet
title_sort Voice Morphing com base em Aprendizado Wavelet
author Lima, Rodrigo da Silva Barboza
author_facet Lima, Rodrigo da Silva Barboza
author_role author
dc.contributor.none.fl_str_mv Guido, Rodrigo Capobianco [UNESP]
dc.contributor.author.fl_str_mv Lima, Rodrigo da Silva Barboza
dc.subject.por.fl_str_mv Processamento de sinais
Wavelets
Redes neurais artificiais
Voice morphing
Signal processing
Artificial neural networks
topic Processamento de sinais
Wavelets
Redes neurais artificiais
Voice morphing
Signal processing
Artificial neural networks
description Algoritmos para conversão de voz, tradicionalmente conhecidos como voice morphing algorithms, têm tido aplicações diversas, tais como a substituição de falas de locutores falescidos ou com o sistema fonatório incapacitado, a possibilidade que determinada música originalmente cantada por um locutor surja com a voz de outro, e assim por diante. Recentemente, tais técnicas têm se tornado mais populares em função dos algoritmos de deep fake, entretanto, a maior desvantagem deles é a dificuldade em criar modelos interpretáveis, assim como ocorre com quaisquer estratégias baseadas em deep learning. Desse modo, neste trabalho, a intenção é a de explorar uma outra possibilidade: a conversão de voz baseada na Transformada Wavelet de Tempo Discreto (DTWT), trabalhando em associação com redes neurais artificiais rasas, que possuem maior possibilidade de gerar modelos interpretáveis. Particularmente, relacionam-se quais os melhores filtros wavelet para conversão de determinados padrões de voz. Testes são realizados com vozes da base de dados TIMIT do Linguistic Data Consortium (LDC) que permitem constatar a viabilidade da estratégia proposta considerando testes de preferência acústica e métricas de distância.
publishDate 2023
dc.date.none.fl_str_mv 2023-11-06T19:26:09Z
2023-11-06T19:26:09Z
2023-09-06
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv Lima, Rodrigo da Silva Barboza. Voice Morphing com base em Aprendizado Wavelet. Dissertação (Mestrado em Ciência da Computação). UNESP, Instituto de Biociências, Letras e Ciências Exatas, São José do Rio Preto, 2023.
https://hdl.handle.net/11449/251226
identifier_str_mv Lima, Rodrigo da Silva Barboza. Voice Morphing com base em Aprendizado Wavelet. Dissertação (Mestrado em Ciência da Computação). UNESP, Instituto de Biociências, Letras e Ciências Exatas, São José do Rio Preto, 2023.
url https://hdl.handle.net/11449/251226
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Estadual Paulista (Unesp)
publisher.none.fl_str_mv Universidade Estadual Paulista (Unesp)
dc.source.none.fl_str_mv reponame:Repositório Institucional da UNESP
instname:Universidade Estadual Paulista (UNESP)
instacron:UNESP
instname_str Universidade Estadual Paulista (UNESP)
instacron_str UNESP
institution UNESP
reponame_str Repositório Institucional da UNESP
collection Repositório Institucional da UNESP
repository.name.fl_str_mv Repositório Institucional da UNESP - Universidade Estadual Paulista (UNESP)
repository.mail.fl_str_mv repositoriounesp@unesp.br
_version_ 1834485981767532544

Registros relacionados