FFT-based acoustic descriptors formusical timbre characterization usingdata analysis and Machine Learning

Detalhes bibliográficos
Ano de defesa: 2023
Autor(a) principal: Gonzalez, Yubiry Sinamaica
Orientador(a): Prati, Ronaldo Cristiano
Banca de defesa: Não Informado pela instituição
Tipo de documento: Tese
Tipo de acesso: Acesso aberto
Idioma: eng
Instituição de defesa: Universidade Federal do ABC
Programa de Pós-Graduação: Programa de Pós-Graduação em Ciência da Computação
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Link de acesso: http://biblioteca.ufabc.edu.br/index.php?codigo_sophia=126932&midiaext=81332
Resumo: Coordenação de Aperfeiçoamento de Pessoal de Nivel Superior
id UFBC_5b0ce5cbe6de6c34a04cda317997e3ca
oai_identifier_str oai:BDTD:126932
network_acronym_str UFBC
network_name_str Repositório Institucional da UFABC
repository_id_str
spelling info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisFFT-based acoustic descriptors formusical timbre characterization usingdata analysis and Machine Learning2023-11-01Prati, Ronaldo CristianoGonzalez, Yubiry SinamaicaUniversidade Federal do ABCPrograma de Pós-Graduação em Ciência da ComputaçãoUFABCengFFTACOUSTIC DESCRIPTORSMUSICAL TIMBREMUSICAL ACOUSTICSMACHINE LEARNINGRANDOM FORESTK-MEANSDESCRITORES ACÚSTICOSTIMBRE MUSICALACÚSTICA MUSICALPROGRAMA DE PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO - UFABCCoordenação de Aperfeiçoamento de Pessoal de Nivel SuperiorO timbre musical é um dos atributos sonoros mais complexos e sua caracterização é uma área de pesquisa em aberto. A coleta e a reprodução digital de sons musicais através da FFT permite estudar o problema do timbre musical sob a perspectiva da acústica musical. Portanto, a tese fundamental é que toda a informação timbrica relevante está, de alguma forma, contida na Transformada de Fourier da gravação de áudio correspondente. O problema da representação do timbre é considerado muito semelhante ao das representações do espaço das cores. Em ambos os casos, as percepções (áudio, cor) precisam ser definidas operacionalmente em espaços abstratos para gestão operacional e computação automática. O principal problema da caracterização do timbre musical estabelece a necessidade de desenvolver um conjunto mínimo de descritores acústicos eficientes que avaliem quantitativamente o timbre musical a partir de gravações de áudio digital, e que possam fornecer com precisão informações suficientes sobre a identificação do timbre musical e padrões de semelhanças. A análise considera apenas gravações de áudio monofônicas, correspondentes à escala de temperamento igual, que constituem um conjunto de frequências discretas, finitas e bem definidas. A partir de gravações de áudio extraídas de bibliotecas conhecidas: TinySol e Good-sounds, correspondentes a sons monofônicos de instrumentos musicais, típicos de uma orquestra sinfônica ocidental, executados por músicos profissionais. Um conjunto de descritores adimensionais e acusticamente motivados são definidos para descrever quantitativamente a distribuição parcial de amplitude de frequência nas FFTs de registros de áudio. Cada FFT contém apenas duas quantidades físicas: frequência e amplitude, cuja distribuição pode ser caracterizada quantificando seu componente fundamental, Afinity (A) e Sharpness (S); os valores médios de ambas quantidades; Mean Affinity (MA) e Mean Contrast (MC) e a descrição da envolvente: Harmonicity (H), Monotony (M). Esses descritores, juntamente com a frequência fundamental, configuram um espaço heptadimensional que permite geometrizar, através da distância euclidiana, as relações de semelhança e proximidade tímbrica. Assim, o problema de caracterização tímbrica se reduz a um problema de agrupamento em um espaço abstrato de 7 dimensões, onde cada registro de áudio corresponde a um ponto. A sua posição no espaço tímbrico e a distância euclidiana entre os registos permitiram-nos discriminar as variações tímbricas, por dinâmicas, oitavas, instrumentos musicais e famílias de instrumentos; utilizando técnicas de Machine Learning e processamento de dados. As semelhanças tímbricas entre gravações de áudio são estudadas, criando um algoritmo através de distâncias euclidianas no espaço de 7 dimensões. Este algoritmo nos permitiu descobrir quais FFTs são semelhantes para diferentes instrumentos musicais. Com base no cálculo dos descritores e relações de distância, foi realizada uma análise exploratória de agrupamento utilizando o algoritmo K-means para a análise dos grupos de instrumentos musicais, famílias de instrumentos, bibliotecas de sons e notas musicais. Observamos que os dados de cada estudo de caso aparecem em regiões delimitadas específicas do espaço tímbrico, o que nos permite identificar relações significativas no processo de caracterização tímbrica. Na análise das variações tímbricas consideramos o crescendo e o vibrato, onde observamos que o crescendo modifica o Mean contrast (MC) e o vibrato modifica o descriptor Affinity (A). Por fim, comparamos a capacidade de classificação dos nossos descritores acústicos FFT com os descritores da biblioteca Librosa, aplicando o algoritmo de classificação Random Forest. Observamos resultados estatisticamente significativos para os descritores FFT-Acústico na classificação de instrumentos musicais e dinâmica, obtendo melhor classificação para notas musicais e família de instrumentos ao compará-los com os descritores Librosa.http://biblioteca.ufabc.edu.br/index.php?codigo_sophia=126932&midiaext=81332application/pdfreponame:Repositório Institucional da UFABCinstname:Universidade Federal do ABC (UFABC)instacron:UFABCinfo:eu-repo/semantics/openAccess2026-01-15T22:08:04Zoai:BDTD:126932Repositório InstitucionalPUBhttp://www.biblioteca.ufabc.edu.br/oai/oai.phpopendoar:2024-09-02T19:52:31Repositório Institucional da UFABC - Universidade Federal do ABC (UFABC)false
dc.title.pt.fl_str_mv FFT-based acoustic descriptors formusical timbre characterization usingdata analysis and Machine Learning
title FFT-based acoustic descriptors formusical timbre characterization usingdata analysis and Machine Learning
spellingShingle FFT-based acoustic descriptors formusical timbre characterization usingdata analysis and Machine Learning
Gonzalez, Yubiry Sinamaica
title_short FFT-based acoustic descriptors formusical timbre characterization usingdata analysis and Machine Learning
title_full FFT-based acoustic descriptors formusical timbre characterization usingdata analysis and Machine Learning
title_fullStr FFT-based acoustic descriptors formusical timbre characterization usingdata analysis and Machine Learning
title_full_unstemmed FFT-based acoustic descriptors formusical timbre characterization usingdata analysis and Machine Learning
title_sort FFT-based acoustic descriptors formusical timbre characterization usingdata analysis and Machine Learning
author Gonzalez, Yubiry Sinamaica
author_facet Gonzalez, Yubiry Sinamaica
author_role author
dc.contributor.advisor1.fl_str_mv Prati, Ronaldo Cristiano
dc.contributor.author.fl_str_mv Gonzalez, Yubiry Sinamaica
contributor_str_mv Prati, Ronaldo Cristiano
description Coordenação de Aperfeiçoamento de Pessoal de Nivel Superior
publishDate 2023
dc.date.issued.fl_str_mv 2023-11-01
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://biblioteca.ufabc.edu.br/index.php?codigo_sophia=126932&midiaext=81332
url http://biblioteca.ufabc.edu.br/index.php?codigo_sophia=126932&midiaext=81332
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Federal do ABC
dc.publisher.program.fl_str_mv Programa de Pós-Graduação em Ciência da Computação
dc.publisher.initials.fl_str_mv UFABC
publisher.none.fl_str_mv Universidade Federal do ABC
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFABC
instname:Universidade Federal do ABC (UFABC)
instacron:UFABC
instname_str Universidade Federal do ABC (UFABC)
instacron_str UFABC
institution UFABC
reponame_str Repositório Institucional da UFABC
collection Repositório Institucional da UFABC
repository.name.fl_str_mv Repositório Institucional da UFABC - Universidade Federal do ABC (UFABC)
repository.mail.fl_str_mv
_version_ 1854475891460014080

Registros relacionados