Aplicação da arquitetura transformer para sumarização de artigoscientíficos

Detalhes bibliográficos
Ano de defesa: 2023
Autor(a) principal: Lima, Amanda Maciel de
Orientador(a): Rodrigues, Paulo Sérgio Silva
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Centro Universitário FEI, São Bernardo do Campo
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Processamento de linguagem natural (Computação)
Sumarização Abstrativa de Texto
Artigos científicos
Arquitetura transformer
Longformer
Link de acesso: https://repositorio.fei.edu.br/handle/FEI/4845
https://doi.org/10.31414/EE.2023.D.131625
Resumo: O processo de pesquisa científica tem como sua fase inicial a exploração de artigos para o conhecimento do estado da arte do tema a ser investigado. Em virtude do crescimento de dados em artigos científicos e do curso constante da informatização, tornam-se necessários mecanismos que sejam capazes de resumir artigos científicos com a finalidade de melhorar o processo de aquisição de pesquisas e direcionar a pessoa pesquisadora a acessar conteúdos relevantes. Os trabalhos de sumarização de artigos científicos, de modo geral, apresentam métodos de relevância de sentenças e aprendizado de máquina. Nos últimos anos, mecanismos de atenção associados a redes neurais e processamento de linguagem natural vêm sendo propostos para interpretare contextualizar atividades de processamento de linguagens, sendo uma delas a textual. Paralelamente, a arquitetura Transformer sugere uma modelagem de transdução com mecanismos de autoatenção - prescindindo de convoluções e recorrências - é aplicada a diversos campos da Inteligência Articial com resultados considerados promissores. Este trabalho propôs empregar o modelo pré-treinado Longformer para a atividade de sumarização de artigos científicos da base de dados SciSummNet através de etapas de pré-processamento, fine-tuning e geração dos resumos. Os resultados obtidos indicaram melhoria de 20,8% para ROUGE-2 recall e 22,69% para ROUGE-2 F-Measure em relação ao trabalho original da base SciSummNet através do modelo ComAbstract
id FEI_b10406fc4655e3efb6d59cf6994e4b8e
oai_identifier_str oai:repositorio.fei.edu.br:FEI/4845
network_acronym_str FEI
network_name_str Repositório do Conhecimento Institucional do Centro Universitário da Fundação Educacional Inaciana (FEI)
repository_id_str
spelling Lima, Amanda Maciel deRodrigues, Paulo Sérgio Silva2023-06-08T15:28:14Z2023-06-08T15:28:14Z2023LIMA, Amanda Maciel de. <b> Aplicação da arquitetura transformer para sumarização de artigoscientíficos. </b> 2023. 96 f. Dissertação (Mestrado em Engenharia Elétrica) - Centro Universitário FEI, São Bernardo do Campo, 2023. Disponível em: https://doi.org/10.31414/EE.2023.D.131625.https://repositorio.fei.edu.br/handle/FEI/4845https://doi.org/10.31414/EE.2023.D.131625O processo de pesquisa científica tem como sua fase inicial a exploração de artigos para o conhecimento do estado da arte do tema a ser investigado. Em virtude do crescimento de dados em artigos científicos e do curso constante da informatização, tornam-se necessários mecanismos que sejam capazes de resumir artigos científicos com a finalidade de melhorar o processo de aquisição de pesquisas e direcionar a pessoa pesquisadora a acessar conteúdos relevantes. Os trabalhos de sumarização de artigos científicos, de modo geral, apresentam métodos de relevância de sentenças e aprendizado de máquina. Nos últimos anos, mecanismos de atenção associados a redes neurais e processamento de linguagem natural vêm sendo propostos para interpretare contextualizar atividades de processamento de linguagens, sendo uma delas a textual. Paralelamente, a arquitetura Transformer sugere uma modelagem de transdução com mecanismos de autoatenção - prescindindo de convoluções e recorrências - é aplicada a diversos campos da Inteligência Articial com resultados considerados promissores. Este trabalho propôs empregar o modelo pré-treinado Longformer para a atividade de sumarização de artigos científicos da base de dados SciSummNet através de etapas de pré-processamento, fine-tuning e geração dos resumos. Os resultados obtidos indicaram melhoria de 20,8% para ROUGE-2 recall e 22,69% para ROUGE-2 F-Measure em relação ao trabalho original da base SciSummNet através do modelo ComAbstractThe scientific research process has as its initial phase the exploration of articles for the knowledge of the state of the art of the theme to be investigated. Due to the growth of data in scientific articles and the constant course of computerization, mechanisms that are capable of summarizing scientific articles become necessary in order to improve the research acquisition process and direct the researcher to access relevant content. Scientific articles summarizing works, in general, present sentence relevance and machine learning methods. In recent years, attention mechanisms associated with neural networks and natural language processing have been proposed to interpret and contextualize language processing activities, one of which is textual. In recent years, attention mechanisms associated with neural networks and natural language processing have been proposed to interpret and contextualize language processing activities, one of which is textual. At the same time, the Transformer architecture suggests a transduction modeling with self-attention mechanisms - dispensing with convolutions and recurrences - is applied to several fields of Artificial Intelligence with results considered promising. This work proposes to use the Longformer pre-trained model for summarizing scientific articles from the SciSummNet database through pre-processing, fine-tuning and summary generation steps. The results obtained indicated an improvement of 20.8% for ROUGE-2 recall and 22.69% for ROUGE-2 F-Measure in relation to the original work of the base SciSummNet through the variation model called WithAbstractFundação Educacional Inaciana Padre Saboia de Medeirosporpt_BRCentro Universitário FEI, São Bernardo do CampoProcessamento de linguagem natural (Computação)Sumarização Abstrativa de TextoArtigos científicosArquitetura transformerLongformerAplicação da arquitetura transformer para sumarização de artigoscientíficosinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisProcessamento de Sinais e Imagensreponame:Repositório do Conhecimento Institucional do Centro Universitário da Fundação Educacional Inaciana (FEI)instname:Centro Universitário da Fundação Educacional Inaciana (FEI)instacron:FEIinfo:eu-repo/semantics/openAccessORIGINALfulltext.pdfapplication/pdf1757062https://repositorio.fei.edu.br/bitstreams/b1594f2a-8189-4008-b755-993ff0b6dbd5/download7711e56063b237e013b08e86884c0213MD51trueAnonymousREADTEXTfulltext.pdf.txtfulltext.pdf.txtExtracted texttext/plain103263https://repositorio.fei.edu.br/bitstreams/2d11b69f-1b7c-45b3-89ab-61a2ddd80518/download198662f11b1752dd6645caa33ab33eabMD52falseAnonymousREADTHUMBNAILfulltext.pdf.jpgfulltext.pdf.jpgGenerated Thumbnailimage/jpeg2489https://repositorio.fei.edu.br/bitstreams/3fa1c426-6922-45f4-962e-fb30e2006e2b/downloadb45ed971c06ffa36b363040dc51004d9MD53falseAnonymousREADFEI/48452025-06-18 22:47:26.773open.accessoai:repositorio.fei.edu.br:FEI/4845https://repositorio.fei.edu.brBiblioteca Digital de Teses e Dissertaçõeshttp://sofia.fei.edu.br/pergamum/biblioteca/PRIhttps://repositorio-api.fei.edu.br/server/oai/requestcfernandes@fei.edu.bropendoar:2025-06-18T22:47:26Repositório do Conhecimento Institucional do Centro Universitário da Fundação Educacional Inaciana (FEI) - Centro Universitário da Fundação Educacional Inaciana (FEI)false
dc.title.pt_BR.fl_str_mv Aplicação da arquitetura transformer para sumarização de artigoscientíficos
title Aplicação da arquitetura transformer para sumarização de artigoscientíficos
spellingShingle Aplicação da arquitetura transformer para sumarização de artigoscientíficos
Lima, Amanda Maciel de
Processamento de linguagem natural (Computação)
Sumarização Abstrativa de Texto
Artigos científicos
Arquitetura transformer
Longformer
title_short Aplicação da arquitetura transformer para sumarização de artigoscientíficos
title_full Aplicação da arquitetura transformer para sumarização de artigoscientíficos
title_fullStr Aplicação da arquitetura transformer para sumarização de artigoscientíficos
title_full_unstemmed Aplicação da arquitetura transformer para sumarização de artigoscientíficos
title_sort Aplicação da arquitetura transformer para sumarização de artigoscientíficos
author Lima, Amanda Maciel de
author_facet Lima, Amanda Maciel de
author_role author
dc.contributor.author.fl_str_mv Lima, Amanda Maciel de
dc.contributor.advisor1.fl_str_mv Rodrigues, Paulo Sérgio Silva
contributor_str_mv Rodrigues, Paulo Sérgio Silva
dc.subject.por.fl_str_mv Processamento de linguagem natural (Computação)
Sumarização Abstrativa de Texto
Artigos científicos
Arquitetura transformer
Longformer
topic Processamento de linguagem natural (Computação)
Sumarização Abstrativa de Texto
Artigos científicos
Arquitetura transformer
Longformer
description O processo de pesquisa científica tem como sua fase inicial a exploração de artigos para o conhecimento do estado da arte do tema a ser investigado. Em virtude do crescimento de dados em artigos científicos e do curso constante da informatização, tornam-se necessários mecanismos que sejam capazes de resumir artigos científicos com a finalidade de melhorar o processo de aquisição de pesquisas e direcionar a pessoa pesquisadora a acessar conteúdos relevantes. Os trabalhos de sumarização de artigos científicos, de modo geral, apresentam métodos de relevância de sentenças e aprendizado de máquina. Nos últimos anos, mecanismos de atenção associados a redes neurais e processamento de linguagem natural vêm sendo propostos para interpretare contextualizar atividades de processamento de linguagens, sendo uma delas a textual. Paralelamente, a arquitetura Transformer sugere uma modelagem de transdução com mecanismos de autoatenção - prescindindo de convoluções e recorrências - é aplicada a diversos campos da Inteligência Articial com resultados considerados promissores. Este trabalho propôs empregar o modelo pré-treinado Longformer para a atividade de sumarização de artigos científicos da base de dados SciSummNet através de etapas de pré-processamento, fine-tuning e geração dos resumos. Os resultados obtidos indicaram melhoria de 20,8% para ROUGE-2 recall e 22,69% para ROUGE-2 F-Measure em relação ao trabalho original da base SciSummNet através do modelo ComAbstract
publishDate 2023
dc.date.accessioned.fl_str_mv 2023-06-08T15:28:14Z
dc.date.available.fl_str_mv 2023-06-08T15:28:14Z
dc.date.issued.fl_str_mv 2023
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv LIMA, Amanda Maciel de. <b> Aplicação da arquitetura transformer para sumarização de artigoscientíficos. </b> 2023. 96 f. Dissertação (Mestrado em Engenharia Elétrica) - Centro Universitário FEI, São Bernardo do Campo, 2023. Disponível em: https://doi.org/10.31414/EE.2023.D.131625.
dc.identifier.uri.fl_str_mv https://repositorio.fei.edu.br/handle/FEI/4845
dc.identifier.doi.none.fl_str_mv https://doi.org/10.31414/EE.2023.D.131625
identifier_str_mv LIMA, Amanda Maciel de. <b> Aplicação da arquitetura transformer para sumarização de artigoscientíficos. </b> 2023. 96 f. Dissertação (Mestrado em Engenharia Elétrica) - Centro Universitário FEI, São Bernardo do Campo, 2023. Disponível em: https://doi.org/10.31414/EE.2023.D.131625.
url https://repositorio.fei.edu.br/handle/FEI/4845
https://doi.org/10.31414/EE.2023.D.131625
dc.language.iso.fl_str_mv por
pt_BR
language por
language_invalid_str_mv pt_BR
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.coverage.area.none.fl_str_mv Processamento de Sinais e Imagens
dc.publisher.none.fl_str_mv Centro Universitário FEI, São Bernardo do Campo
publisher.none.fl_str_mv Centro Universitário FEI, São Bernardo do Campo
dc.source.none.fl_str_mv reponame:Repositório do Conhecimento Institucional do Centro Universitário da Fundação Educacional Inaciana (FEI)
instname:Centro Universitário da Fundação Educacional Inaciana (FEI)
instacron:FEI
instname_str Centro Universitário da Fundação Educacional Inaciana (FEI)
instacron_str FEI
institution FEI
reponame_str Repositório do Conhecimento Institucional do Centro Universitário da Fundação Educacional Inaciana (FEI)
collection Repositório do Conhecimento Institucional do Centro Universitário da Fundação Educacional Inaciana (FEI)
bitstream.url.fl_str_mv https://repositorio.fei.edu.br/bitstreams/b1594f2a-8189-4008-b755-993ff0b6dbd5/download
https://repositorio.fei.edu.br/bitstreams/2d11b69f-1b7c-45b3-89ab-61a2ddd80518/download
https://repositorio.fei.edu.br/bitstreams/3fa1c426-6922-45f4-962e-fb30e2006e2b/download
bitstream.checksum.fl_str_mv 7711e56063b237e013b08e86884c0213
198662f11b1752dd6645caa33ab33eab
b45ed971c06ffa36b363040dc51004d9
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
repository.name.fl_str_mv Repositório do Conhecimento Institucional do Centro Universitário da Fundação Educacional Inaciana (FEI) - Centro Universitário da Fundação Educacional Inaciana (FEI)
repository.mail.fl_str_mv cfernandes@fei.edu.br
_version_ 1865734571197202432

Registros relacionados