Uso de redes neurais convolucionais na análise de espectros LIBS para a quantificação de Carbono em solos

Detalhes bibliográficos
Ano de defesa: 2025
Autor(a) principal: Guilherme, Heloisa do Vale
Orientador(a): Não Informado pela instituição
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Biblioteca Digitais de Teses e Dissertações da USP
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
CNN
Link de acesso: https://www.teses.usp.br/teses/disponiveis/55/55137/tde-30042025-165012/
Resumo: Laser-Induced Breakdown Spectroscopy (LIBS) tem se destacado como uma técnica promissora para a análise rápida e multi-elementar de solos, exigindo mínima preparação de amostras. Dentre os elementos analisados, a quantificação do carbono é essencial para avaliar a fertilidade e a saúde do solo, além de contribuir para práticas agrícolas sustentáveis e estratégias de mitigação das mudanças climáticas. Entretanto, a aplicação do LIBS para análises quantitativas ainda enfrenta desafios, como efeitos de matriz, variabilidade espectral e interferências, que comprometem a precisão dos resultados. Estratégias de pré-processamento dos dados são frequentemente adotadas para mitigar esses problemas, mas podem introduzir viés e tornar o fluxo de trabalho mais complexo. Nesse contexto, Convolutional Neural Networks (CNNs) surgem como alternativa, permitindo a extração automática de padrões dos espectros brutos e reduzindo a necessidade de pré-processamento. Entretanto, há lacunas na literatura sobre sua generalização e robustez para conjuntos de dados grandes e variados. Este estudo investiga a eficácia das CNNs na quantificação de carbono em solos a partir de espectros LIBS, comparando seu desempenho com modelos tradicionais (MultiLayer Perceptron (MLP), Support Vector Machine (SVM), Extreme Gradient Boosting (XGBoost), Light Gradient Boosting Machine (LGBM), Random Forest (RDF), Regressões Tweedie e Theilsen) em três cenários: dados brutos, dados com correção de linha de base e dados com seleção de features pelo algoritmo Minimum Redundancy Maximum Relevance (MRMR). As métricas utilizadas incluem Erro Médio Absoluto (MAE), Raiz do Erro Quadrático Médio (RMSE) e Coeficiente de Determinação (R²), avaliadas nos conjuntos de treino, teste e externo. Os resultados indicam que a CNN treinada com dados brutos apresentou o melhor desempenho e maior generalização, com R² de 0,810 no conjunto externo. O pré-processamento não melhorou os resultados: a correção de linha de base removeu informações relevantes, enquanto a seleção de features, embora eficiente para reduzir a dimensionalidade e manter métricas estáveis nos conjuntos de treino e teste, comprometeu a capacidade de generalização para novos dados. A análise interpretativa com LIME identificou as linhas espectrais mais relevantes para a predição de carbono, destacando as emissões do Carbono (C I 247.86 nm e C I 247.91 nm) e Potássio (K I 766.47 nm) como as principais contribuições para a modelagem. Isso reforça a capacidade das CNNs de extrair características significativas diretamente dos espectros brutos, minimizando a necessidade de pré-processamento. Assim, este estudo demonstra o potencial das CNNs para otimizar a análise LIBS no setor agrícola, tornando a quantificação do carbono mais eficiente e menos dependente de ajustes manuais.
id USP_34131bb3447c4301ece9f37624f3a0e7
oai_identifier_str oai:teses.usp.br:tde-30042025-165012
network_acronym_str USP
network_name_str Biblioteca Digital de Teses e Dissertações da USP
repository_id_str
spelling Uso de redes neurais convolucionais na análise de espectros LIBS para a quantificação de Carbono em solosApplication of convolutional neural networks in LIBS spectra analysis for Carbon quantification in soilsCarbon quantificationCNNCNNDeep learningDeep learningLIBSLIBSQuantificação de carbonoLaser-Induced Breakdown Spectroscopy (LIBS) tem se destacado como uma técnica promissora para a análise rápida e multi-elementar de solos, exigindo mínima preparação de amostras. Dentre os elementos analisados, a quantificação do carbono é essencial para avaliar a fertilidade e a saúde do solo, além de contribuir para práticas agrícolas sustentáveis e estratégias de mitigação das mudanças climáticas. Entretanto, a aplicação do LIBS para análises quantitativas ainda enfrenta desafios, como efeitos de matriz, variabilidade espectral e interferências, que comprometem a precisão dos resultados. Estratégias de pré-processamento dos dados são frequentemente adotadas para mitigar esses problemas, mas podem introduzir viés e tornar o fluxo de trabalho mais complexo. Nesse contexto, Convolutional Neural Networks (CNNs) surgem como alternativa, permitindo a extração automática de padrões dos espectros brutos e reduzindo a necessidade de pré-processamento. Entretanto, há lacunas na literatura sobre sua generalização e robustez para conjuntos de dados grandes e variados. Este estudo investiga a eficácia das CNNs na quantificação de carbono em solos a partir de espectros LIBS, comparando seu desempenho com modelos tradicionais (MultiLayer Perceptron (MLP), Support Vector Machine (SVM), Extreme Gradient Boosting (XGBoost), Light Gradient Boosting Machine (LGBM), Random Forest (RDF), Regressões Tweedie e Theilsen) em três cenários: dados brutos, dados com correção de linha de base e dados com seleção de features pelo algoritmo Minimum Redundancy Maximum Relevance (MRMR). As métricas utilizadas incluem Erro Médio Absoluto (MAE), Raiz do Erro Quadrático Médio (RMSE) e Coeficiente de Determinação (R²), avaliadas nos conjuntos de treino, teste e externo. Os resultados indicam que a CNN treinada com dados brutos apresentou o melhor desempenho e maior generalização, com R² de 0,810 no conjunto externo. O pré-processamento não melhorou os resultados: a correção de linha de base removeu informações relevantes, enquanto a seleção de features, embora eficiente para reduzir a dimensionalidade e manter métricas estáveis nos conjuntos de treino e teste, comprometeu a capacidade de generalização para novos dados. A análise interpretativa com LIME identificou as linhas espectrais mais relevantes para a predição de carbono, destacando as emissões do Carbono (C I 247.86 nm e C I 247.91 nm) e Potássio (K I 766.47 nm) como as principais contribuições para a modelagem. Isso reforça a capacidade das CNNs de extrair características significativas diretamente dos espectros brutos, minimizando a necessidade de pré-processamento. Assim, este estudo demonstra o potencial das CNNs para otimizar a análise LIBS no setor agrícola, tornando a quantificação do carbono mais eficiente e menos dependente de ajustes manuais.Laser-Induced Breakdown Spectroscopy (LIBS) has emerged as a promising technique for rapid and multi-elemental soil analysis, requiring minimal sample preparation. Among the analyzed elements, carbon quantification is essential for assessing soil fertility and health, as well as contributing to sustainable agricultural practices and climate change mitigation strategies. However, the application of LIBS for quantitative analysis still faces challenges, such as matrix effects, spectral variability, and interferences, which compromise result accuracy. Preprocessing strategies are commonly employed to mitigate these issues, but they can introduce bias and increase workflow complexity. In this context, Convolutional Neural Networks (CNNs) emerge as an alternative, enabling automatic pattern extraction from raw spectra and reducing the need for preprocessing. Nevertheless, there are gaps in the literature regarding their generalization and robustness for large and diverse datasets. This study evaluates the effectiveness of CNNs in soil carbon quantification using LIBS spectra, comparing their performance with traditional models (Multilayer Perceptron (MLP), Support Vector Machine (SVM), Extreme Gradient Boosting (XGBoost), Light Gradient Boosting Machine (LGBM), Random Forest (RDF), Tweedie and Theilsen regressions) across three scenarios: raw data, baseline-corrected data, and feature-selected data using the Minimum Redundancy Maximum Relevance (MRMR) algorithm. The evaluation metrics include Mean Absolute Error (MAE), Root Mean Squared Error (RMSE), and Coefficient of Determination (R²), assessed on training, test, and external datasets. The results indicate that the CNN trained on raw data achieved the best performance and highest generalization, with an R² of 0.810 on the external dataset. Preprocessing did not improve the results: baseline correction removed relevant information, while feature selection, despite reducing dimensionality and maintaining stable metrics on training and test sets, compromised generalization to new data. Interpretative analysis with LIME identified the most relevant spectral lines for carbon prediction, highlighting emissions from Carbon (C I 247.86 nm and C I 247.91 nm) and Potassium (K I 766.47 nm) as the main contributions to modeling. This reinforces the capability of CNNs to extract meaningful features directly from raw spectra, minimizing the need for preprocessing. Thus, this study demonstrates the potential of CNNs to optimize LIBS analysis in the agricultural sector, making carbon quantification more efficient and less reliant on manual adjustments.Biblioteca Digitais de Teses e Dissertações da USPBoas, Paulino Ribeiro VillasGuilherme, Heloisa do Vale2025-02-27info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://www.teses.usp.br/teses/disponiveis/55/55137/tde-30042025-165012/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesspor2025-05-05T13:19:02Zoai:teses.usp.br:tde-30042025-165012Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212025-05-05T13:19:02Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false
dc.title.none.fl_str_mv Uso de redes neurais convolucionais na análise de espectros LIBS para a quantificação de Carbono em solos
Application of convolutional neural networks in LIBS spectra analysis for Carbon quantification in soils
title Uso de redes neurais convolucionais na análise de espectros LIBS para a quantificação de Carbono em solos
spellingShingle Uso de redes neurais convolucionais na análise de espectros LIBS para a quantificação de Carbono em solos
Guilherme, Heloisa do Vale
Carbon quantification
CNN
CNN
Deep learning
Deep learning
LIBS
LIBS
Quantificação de carbono
title_short Uso de redes neurais convolucionais na análise de espectros LIBS para a quantificação de Carbono em solos
title_full Uso de redes neurais convolucionais na análise de espectros LIBS para a quantificação de Carbono em solos
title_fullStr Uso de redes neurais convolucionais na análise de espectros LIBS para a quantificação de Carbono em solos
title_full_unstemmed Uso de redes neurais convolucionais na análise de espectros LIBS para a quantificação de Carbono em solos
title_sort Uso de redes neurais convolucionais na análise de espectros LIBS para a quantificação de Carbono em solos
author Guilherme, Heloisa do Vale
author_facet Guilherme, Heloisa do Vale
author_role author
dc.contributor.none.fl_str_mv Boas, Paulino Ribeiro Villas
dc.contributor.author.fl_str_mv Guilherme, Heloisa do Vale
dc.subject.por.fl_str_mv Carbon quantification
CNN
CNN
Deep learning
Deep learning
LIBS
LIBS
Quantificação de carbono
topic Carbon quantification
CNN
CNN
Deep learning
Deep learning
LIBS
LIBS
Quantificação de carbono
description Laser-Induced Breakdown Spectroscopy (LIBS) tem se destacado como uma técnica promissora para a análise rápida e multi-elementar de solos, exigindo mínima preparação de amostras. Dentre os elementos analisados, a quantificação do carbono é essencial para avaliar a fertilidade e a saúde do solo, além de contribuir para práticas agrícolas sustentáveis e estratégias de mitigação das mudanças climáticas. Entretanto, a aplicação do LIBS para análises quantitativas ainda enfrenta desafios, como efeitos de matriz, variabilidade espectral e interferências, que comprometem a precisão dos resultados. Estratégias de pré-processamento dos dados são frequentemente adotadas para mitigar esses problemas, mas podem introduzir viés e tornar o fluxo de trabalho mais complexo. Nesse contexto, Convolutional Neural Networks (CNNs) surgem como alternativa, permitindo a extração automática de padrões dos espectros brutos e reduzindo a necessidade de pré-processamento. Entretanto, há lacunas na literatura sobre sua generalização e robustez para conjuntos de dados grandes e variados. Este estudo investiga a eficácia das CNNs na quantificação de carbono em solos a partir de espectros LIBS, comparando seu desempenho com modelos tradicionais (MultiLayer Perceptron (MLP), Support Vector Machine (SVM), Extreme Gradient Boosting (XGBoost), Light Gradient Boosting Machine (LGBM), Random Forest (RDF), Regressões Tweedie e Theilsen) em três cenários: dados brutos, dados com correção de linha de base e dados com seleção de features pelo algoritmo Minimum Redundancy Maximum Relevance (MRMR). As métricas utilizadas incluem Erro Médio Absoluto (MAE), Raiz do Erro Quadrático Médio (RMSE) e Coeficiente de Determinação (R²), avaliadas nos conjuntos de treino, teste e externo. Os resultados indicam que a CNN treinada com dados brutos apresentou o melhor desempenho e maior generalização, com R² de 0,810 no conjunto externo. O pré-processamento não melhorou os resultados: a correção de linha de base removeu informações relevantes, enquanto a seleção de features, embora eficiente para reduzir a dimensionalidade e manter métricas estáveis nos conjuntos de treino e teste, comprometeu a capacidade de generalização para novos dados. A análise interpretativa com LIME identificou as linhas espectrais mais relevantes para a predição de carbono, destacando as emissões do Carbono (C I 247.86 nm e C I 247.91 nm) e Potássio (K I 766.47 nm) como as principais contribuições para a modelagem. Isso reforça a capacidade das CNNs de extrair características significativas diretamente dos espectros brutos, minimizando a necessidade de pré-processamento. Assim, este estudo demonstra o potencial das CNNs para otimizar a análise LIBS no setor agrícola, tornando a quantificação do carbono mais eficiente e menos dependente de ajustes manuais.
publishDate 2025
dc.date.none.fl_str_mv 2025-02-27
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://www.teses.usp.br/teses/disponiveis/55/55137/tde-30042025-165012/
url https://www.teses.usp.br/teses/disponiveis/55/55137/tde-30042025-165012/
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv
dc.rights.driver.fl_str_mv Liberar o conteúdo para acesso público.
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Liberar o conteúdo para acesso público.
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.coverage.none.fl_str_mv
dc.publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
dc.source.none.fl_str_mv
reponame:Biblioteca Digital de Teses e Dissertações da USP
instname:Universidade de São Paulo (USP)
instacron:USP
instname_str Universidade de São Paulo (USP)
instacron_str USP
institution USP
reponame_str Biblioteca Digital de Teses e Dissertações da USP
collection Biblioteca Digital de Teses e Dissertações da USP
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)
repository.mail.fl_str_mv virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br
_version_ 1844786351709356032