Sumarização abstrativa de textos em português utilizando aprendizado de máquina

Detalhes bibliográficos
Ano de defesa: 2022
Autor(a) principal: Paiola, Pedro Henrique [UNESP]
Orientador(a): Papa, João Paulo [UNESP]
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Universidade Estadual Paulista (Unesp)
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Processamento de Linguagem Natural
Aprendizado de Máquina
Sumarização
Sumarização Abstrativa
Português Brasileiro
Natural language processing
Machine learning
Summarization
Abstractive summarization
Brazilian portuguese
Link de acesso: http://hdl.handle.net/11449/236858
Resumo: A sumarização automática consiste no processo de capturar as informações mais relevantes de um texto e condensá-las em um texto compreensível em linguagem natural. Este processo pode ser classificado como sumarização extrativa, quando identifica as sentenças mais importantes do texto de origem para compor o sumário utilizando as mesmas sentenças, ou sumarização abstrativa, quando gera novas sentenças baseadas nas informações mais relevantes do texto de origem. Pesquisas em sumarização automática abstrativa para o português brasileiro ainda são escassas, especialmente para sumarização abstrativa baseada em aprendizado em profundidade. Por este motivo, este consiste no foco desta pesquisa. Nesta dissertação são apresentados experimentos com modelos pré-treinados, ajustados para as bases TeMário, CSTNews e para os textos em português da WikiLingua e XL-Sum. Os resultados apresentados por estes experimentos são relativamente satisfatórios, ainda apresentando problemas, dos quais a maioria são comuns em sumarização abstrativa, mas que podem servir como ponto de partida para futuras pesquisas.
id UNSP_d3ec51a44265964d2d1e34933eac05ae
oai_identifier_str oai:repositorio.unesp.br:11449/236858
network_acronym_str UNSP
network_name_str Repositório Institucional da UNESP
repository_id_str
spelling Paiola, Pedro Henrique [UNESP]Universidade Estadual Paulista (Unesp)Caseli, Helena de MedeirosCosta, Kelton Augusto Pontara daPapa, João Paulo [UNESP]2022-10-06T16:45:52Z2022-10-06T16:45:52Z2022-09-09http://hdl.handle.net/11449/23685833004153073P2A sumarização automática consiste no processo de capturar as informações mais relevantes de um texto e condensá-las em um texto compreensível em linguagem natural. Este processo pode ser classificado como sumarização extrativa, quando identifica as sentenças mais importantes do texto de origem para compor o sumário utilizando as mesmas sentenças, ou sumarização abstrativa, quando gera novas sentenças baseadas nas informações mais relevantes do texto de origem. Pesquisas em sumarização automática abstrativa para o português brasileiro ainda são escassas, especialmente para sumarização abstrativa baseada em aprendizado em profundidade. Por este motivo, este consiste no foco desta pesquisa. Nesta dissertação são apresentados experimentos com modelos pré-treinados, ajustados para as bases TeMário, CSTNews e para os textos em português da WikiLingua e XL-Sum. Os resultados apresentados por estes experimentos são relativamente satisfatórios, ainda apresentando problemas, dos quais a maioria são comuns em sumarização abstrativa, mas que podem servir como ponto de partida para futuras pesquisas.Automatic summarization captures the most relevant information in a text and condenses it into an understandable text in natural language. This process can be classified as extractive summarization, which identifies the most important sentences from the source text and composes the summary using that very same sentences, or abstractive summarization, which generates new sentences based on the most relevant information from the source text. Research on Brazilian Portuguese-based abstractive summarization is still scarce, especially for deep learning-based abstractive summarization. For this reason, this is the focus of this research. This master thesis presents experiments with pre-trained models, fine-tuned for the TeMário and CSTNews databases and for the texts in Portuguese from WikiLingua and XL-Sum. The results presented by these experiments are relatively satisfactory, still presenting problems, most of which are common in abstractive summarization, but can serve as a starting point for future research.Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)CAPES: 88887.487277/2020-00porUniversidade Estadual Paulista (Unesp)Processamento de Linguagem NaturalAprendizado de MáquinaSumarizaçãoSumarização AbstrativaPortuguês BrasileiroNatural language processingMachine learningSummarizationAbstractive summarizationBrazilian portugueseSumarização abstrativa de textos em português utilizando aprendizado de máquinaAbstractive summarization for portuguese texts using machine learninginfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UNESPinstname:Universidade Estadual Paulista (UNESP)instacron:UNESPCiência da Computação - FCComputação aplicadaInteligência ComputacionalUniversidade Estadual Paulista (UNESP), Faculdade de Ciências, BauruOnlineBanca públicaPublicationaef1f5df-a00f-45f4-b366-6926b097829bvirtual::65103-1aef1f5df-a00f-45f4-b366-6926b097829bvirtual::65103-1TEXTpaiola_ph_me_bauru.pdf.txtWritten by FormatFilter org.dspace.app.mediafilter.TikaTextExtractionFilter on 2023-11-05T06:10:15Z (GMT).Extracted texttext/plain103088https://repositorio.unesp.br/bitstreams/2c0bf127-c4e1-410c-b936-40afc9866957/downloadcabdc1f9674db116b68f3130628495a5MD54falseAnonymousREADTHUMBNAILpaiola_ph_me_bauru.pdf.jpgWritten by FormatFilter org.dspace.app.mediafilter.PDFBoxThumbnail on 2023-11-05T06:10:15Z (GMT).Generated Thumbnailimage/jpeg3159https://repositorio.unesp.br/bitstreams/bee55255-8e30-4da7-aab7-cf3f5f7a6e98/downloadbe8db18da7b24be039bb3e04b159a340MD55falseAnonymousREADORIGINALpaiola_ph_me_bauru.pdfpaiola_ph_me_bauru.pdfapplication/pdf1404570https://repositorio.unesp.br/bitstreams/43581702-4ec0-4cba-8048-4bb418950b5a/downloadc16eb9b9e79c9698c65ba6ffec5610fdMD53trueAnonymousREADLICENSElicense.txtWritten by org.dspace.content.LicenseUtilstext/plain; charset=utf-83043https://repositorio.unesp.br/bitstreams/91021502-e73a-4b52-b462-9a0c83ce727a/downloadbdec5aff644146cbf1c4cd6ac1ba78c5MD52falseAnonymousREAD11449/2368582026-03-12T12:03:02.582464Zopen.accessoai:repositorio.unesp.br:11449/236858https://repositorio.unesp.brRepositório InstitucionalPUBhttp://repositorio.unesp.br/oai/requestrepositoriounesp@unesp.bropendoar:29462026-03-12T12:03:02Repositório Institucional da UNESP - Universidade Estadual Paulista (UNESP)falseTElDRU7Dh0EgUEFSQSBBIERJU1BPTklCSUxJWkHDh8ODTyBPTkxJTkUgREUgRElTU0VSVEHDh8ODTyBPVSBERSBURVNFIFNVQk1FVElEQSBBTyBSRVBPU0lUw5NSSU8gSU5TVElUVUNJT05BTCBVTkVTUA0KDQoxLiBBbyBjb25jb3JkYXIgY29tIGVzdGEgbGljZW7Dp2EsIGV1LCBQZWRybyBIZW5yaXF1ZSBQYWlvbGEgKHBlZHJvLnBhaW9sYUB1bmVzcC5iciksIHJlc3BvbnPDoXZlbCBwZWxvIHRyYWJhbGhvIOKAnFN1bWFyaXphw6fDo28gQWJzdHJhdGl2YSBkZSBUZXh0b3MgZW0gUG9ydHVndcOqcyBVdGlsaXphbmRvIEFwcmVuZGl6YWRvIGRlIE3DoXF1aW5h4oCdIHBvciBtaW0gc3VibWV0aWRvIGFvIFJlcG9zaXTDs3JpbyBJbnN0aXR1Y2lvbmFsIFVORVNQIGUgZGVzZW52b2x2aWRvIG5vIMOibWJpdG8gZGUgdW0gZG9zIHByb2dyYW1hcyBkZSBww7NzLWdyYWR1YcOnw6NvIGRhIFVuaXZlcnNpZGFkZSBFc3RhZHVhbCBQYXVsaXN0YSDigJxKw7psaW8gZGUgTWVzcXVpdGEgRmlsaG/igJ0gKFVORVNQKToNCg0KYSkgYXRlc3RvIHNlciBvIHJlc3BvbnPDoXZlbCBsZWdhbCBwZWxvIHRyYWJhbGhvIHN1Ym1ldGlkbyBlIHBlbG9zIGRhZG9zIGluZm9ybWFkb3MgZHVyYW50ZSBhIHN1Ym1pc3PDo287DQoNCmIpIGF0ZXN0byBxdWUgbyB0cmFiYWxobyBzdWJtZXRpZG8gbsOjbyBpbmZyaW5nZSBsZWlzIGRlIGRpcmVpdG8gYXV0b3JhbDsNCg0KYykgYXRlc3RvIHF1ZSBvIHRyYWJhbGhvIHN1Ym1ldGlkbyBuw6NvIGNvbnTDqW0gcXVhbHF1ZXIgaW5mb3JtYcOnw6NvIGNvbmZpZGVuY2lhbCBtaW5oYSBvdSBkZSB0ZXJjZWlyb3M7DQoNCmQpIGF0ZXN0byBxdWUsIHNlIG9idGl2ZSBmaW5hbmNpYW1lbnRvIHBhcmEgbyBkZXNlbnZvbHZpbWVudG8gZG8gdHJhYmFsaG8gc3VibWV0aWRvLCBpbmZvcm1laSBhIGFnw6puY2lhIGRlIGZvbWVudG8gZSBvIG7Dum1lcm8gZG8gZmluYW5jaWFtZW50byBkdXJhbnRlIGEgc3VibWlzc8OjbzsNCg0KZSkgYXRlc3RvIHF1ZSBhIHZlcnPDo28gZG8gdHJhYmFsaG8gcHJlc2VudGUgbm8gYXJxdWl2byBzdWJtZXRpZG8gw6kgYSB2ZXJzw6NvIGRlZmluaXRpdmEgcXVlIGluY2x1aSBhcyBhbHRlcmHDp8O1ZXMgZGVjb3JyZW50ZXMgZGEgZGVmZXNhLCBzZSBob3V2ZSBhbGd1bWE7DQoNCmYpIGF0ZXN0byBxdWUgYSB2ZXJzw6NvIGRvIHRyYWJhbGhvIHByZXNlbnRlIG5vIGFycXVpdm8gc3VibWV0aWRvIHNlcsOhIGEgbWVzbWEgdmVyc8OjbyBpbXByZXNzYSBlbnRyZWd1ZSBuYSBTZcOnw6NvIFTDqWNuaWNhIGRlIFDDs3MtR3JhZHVhw6fDo28gY29tIGEgcXVhbCBvIHByb2dyYW1hIGRlIHDDs3MtZ3JhZHVhw6fDo28gZW0gcXVlIG8gdHJhYmFsaG8gZm9pIGRlc2Vudm9sdmlkbyBlc3TDoSB2aW5jdWxhZG87DQoNCmcpIGNvbmNlZG8gw6AgVW5pdmVyc2lkYWRlIEVzdGFkdWFsIFBhdWxpc3RhIOKAnErDumxpbyBkZSBNZXNxdWl0YSBGaWxob+KAnSBvIGRpcmVpdG8gbsOjbyBleGNsdXNpdm8gZGUgZGlzcG9uaWJpbGl6YXIsIGRlIGNvcGlhciBlIGRlIGRpc3RyaWJ1aXIsIHBvciBtZWlvIGRlIHNldXMgYW1iaWVudGVzIGluc3RpdHVjaW9uYWlzIGRlIGFjZXNzbyByZXN0cml0byBvdSBhYmVydG8gYW8gcMO6YmxpY28gZ2VyYWwsIHNlbSByZXNzYXJjaW1lbnRvIGRlIGRpcmVpdG9zIGF1dG9yYWlzLCBvIHRyYWJhbGhvIHN1Ym1ldGlkbyBlIG9zIGRhZG9zIGluZm9ybWFkb3MgZHVyYW50ZSBhIHN1Ym1pc3PDo287DQoNCmgpIGNvbmNlZG8gw6AgVW5pdmVyc2lkYWRlIEVzdGFkdWFsIFBhdWxpc3RhIOKAnErDumxpbyBkZSBNZXNxdWl0YSBGaWxob+KAnSBvIGRpcmVpdG8gbsOjbyBleGNsdXNpdm8gZGUgcmVhbGl6YXIgcXVhaXNxdWVyIGFsdGVyYcOnw7VlcyBuYSBtw61kaWEgb3Ugbm8gZm9ybWF0byBkbyBhcnF1aXZvIHBhcmEgcHJvcMOzc2l0b3MgZGUgcHJlc2VydmHDp8OjbyBkaWdpdGFsLCBkZSBhY2Vzc2liaWxpZGFkZSBlIGRlIG1lbGhvciBpZGVudGlmaWNhw6fDo28gZG8gdHJhYmFsaG8gc3VibWV0aWRvLCBkZXNkZSBxdWUgbsOjbyBzZWphIGFsdGVyYWRvIHNldSBjb250ZcO6ZG8gaW50ZWxlY3R1YWwuDQoNCjIuIEEgVW5pdmVyc2lkYWRlIEVzdGFkdWFsIFBhdWxpc3RhIOKAnErDumxpbyBkZSBNZXNxdWl0YSBGaWxob+KAnSBzZSBjb21wcm9tZXRlIGE6DQoNCmEpIGZvcm5lY2VyIHVtYSBpZGVudGlmaWNhw6fDo28gY2xhcmEgZG8gbm9tZSBkbyBhdXRvciBkdXJhbnRlIGEgZGlzcG9uaWJpbGl6YcOnw6NvLCBlbSBhbWJpZW50ZSBpbnN0aXR1Y2lvbmFsLCBkbyB0cmFiYWxobyBzdWJtZXRpZG87DQoNCmIpIHNlIG5lY2Vzc8OhcmlvLCByZWFsaXphciBhbHRlcmHDp8O1ZXMgbm9zIGRhZG9zIGluZm9ybWFkb3MgZHVyYW50ZSBhIHN1Ym1pc3PDo28gcGFyYSBxdWUgbWVsaG9yIHJlcHJlc2VudGVtIGUgaWRlbnRpZmlxdWVtIG8gdHJhYmFsaG8gc2VtLCBubyBlbnRhbnRvLCBjb21wcm9tZXRlciBzZXUgY29udGXDumRvIGludGVsZWN0dWFsOw0KDQpjKSByZXNwZWl0YXIgYSBkZWNpc8OjbyBkbyBhdXRvciBzb2JyZSBhIHZlcnPDo28gcXVlIGRldmVyw6Egc2VyIGRpc3BvbmliaWxpemFkYSBpbWVkaWF0YW1lbnRlIGFww7NzIG8gYWNlaXRlIGRhIHN1Ym1pc3PDo28sIHNlamEgZWxhIGEgdmVyc8OjbyBpbnRlZ3JhbCBvdSBwYXJjaWFsOw0KDQpkKSByZXNwZWl0YXIgbyBwcmF6byBkZWZpbmlkbyBwZWxvIGF1dG9yIHBhcmEgYSBkaXNwb25pYmlsaXphw6fDo28gZG8gY29udGXDumRvIGludGVncmFsLCBjYXNvIG8gYXV0b3IgdGVuaGEgb3B0YWRvIHBlbGEgZGlzcG9uaWJpbGl6YcOnw6NvIGltZWRpYXRhIGFwZW5hcyBkbyBjb250ZcO6ZG8gcGFyY2lhbCBlIG8gcHJhem8gZGVmaW5pZG8gZXN0ZWphIGRlbnRybyBkZSAyIChkb2lzKSBhbm9zIGFww7NzIGEgZGVmZXNhOw0KDQplKSBuw6NvIHJlYWxpemFyIGFsdGVyYcOnw7VlcyBubyBhcnF1aXZvIGVudmlhZG8gYWzDqW0gZGFxdWVsYXMgZGVzY3JpdGFzIG5lc3RhIGxpY2Vuw6dhLg0KDQpTw6NvIFBhdWxvLCBUaHUgT2N0IDA2IDExOjAyOjMzIEJSVCAyMDIyLg==
dc.title.pt.fl_str_mv Sumarização abstrativa de textos em português utilizando aprendizado de máquina
dc.title.alternative.pt.fl_str_mv Abstractive summarization for portuguese texts using machine learning
title Sumarização abstrativa de textos em português utilizando aprendizado de máquina
spellingShingle Sumarização abstrativa de textos em português utilizando aprendizado de máquina
Paiola, Pedro Henrique [UNESP]
Processamento de Linguagem Natural
Aprendizado de Máquina
Sumarização
Sumarização Abstrativa
Português Brasileiro
Natural language processing
Machine learning
Summarization
Abstractive summarization
Brazilian portuguese
title_short Sumarização abstrativa de textos em português utilizando aprendizado de máquina
title_full Sumarização abstrativa de textos em português utilizando aprendizado de máquina
title_fullStr Sumarização abstrativa de textos em português utilizando aprendizado de máquina
title_full_unstemmed Sumarização abstrativa de textos em português utilizando aprendizado de máquina
title_sort Sumarização abstrativa de textos em português utilizando aprendizado de máquina
author Paiola, Pedro Henrique [UNESP]
author_facet Paiola, Pedro Henrique [UNESP]
author_role author
dc.contributor.institution.none.fl_str_mv Universidade Estadual Paulista (Unesp)
dc.contributor.committeeMember.none.fl_str_mv Caseli, Helena de Medeiros
Costa, Kelton Augusto Pontara da
dc.contributor.author.fl_str_mv Paiola, Pedro Henrique [UNESP]
dc.contributor.advisor1.fl_str_mv Papa, João Paulo [UNESP]
contributor_str_mv Papa, João Paulo [UNESP]
dc.subject.por.fl_str_mv Processamento de Linguagem Natural
Aprendizado de Máquina
Sumarização
Sumarização Abstrativa
Português Brasileiro
Natural language processing
Machine learning
Summarization
Abstractive summarization
Brazilian portuguese
topic Processamento de Linguagem Natural
Aprendizado de Máquina
Sumarização
Sumarização Abstrativa
Português Brasileiro
Natural language processing
Machine learning
Summarization
Abstractive summarization
Brazilian portuguese
description A sumarização automática consiste no processo de capturar as informações mais relevantes de um texto e condensá-las em um texto compreensível em linguagem natural. Este processo pode ser classificado como sumarização extrativa, quando identifica as sentenças mais importantes do texto de origem para compor o sumário utilizando as mesmas sentenças, ou sumarização abstrativa, quando gera novas sentenças baseadas nas informações mais relevantes do texto de origem. Pesquisas em sumarização automática abstrativa para o português brasileiro ainda são escassas, especialmente para sumarização abstrativa baseada em aprendizado em profundidade. Por este motivo, este consiste no foco desta pesquisa. Nesta dissertação são apresentados experimentos com modelos pré-treinados, ajustados para as bases TeMário, CSTNews e para os textos em português da WikiLingua e XL-Sum. Os resultados apresentados por estes experimentos são relativamente satisfatórios, ainda apresentando problemas, dos quais a maioria são comuns em sumarização abstrativa, mas que podem servir como ponto de partida para futuras pesquisas.
publishDate 2022
dc.date.accessioned.fl_str_mv 2022-10-06T16:45:52Z
dc.date.available.fl_str_mv 2022-10-06T16:45:52Z
dc.date.issued.fl_str_mv 2022-09-09
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/11449/236858
dc.identifier.capes.none.fl_str_mv 33004153073P2
url http://hdl.handle.net/11449/236858
identifier_str_mv 33004153073P2
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Estadual Paulista (Unesp)
publisher.none.fl_str_mv Universidade Estadual Paulista (Unesp)
dc.source.none.fl_str_mv reponame:Repositório Institucional da UNESP
instname:Universidade Estadual Paulista (UNESP)
instacron:UNESP
instname_str Universidade Estadual Paulista (UNESP)
instacron_str UNESP
institution UNESP
reponame_str Repositório Institucional da UNESP
collection Repositório Institucional da UNESP
bitstream.url.fl_str_mv https://repositorio.unesp.br/bitstreams/2c0bf127-c4e1-410c-b936-40afc9866957/download
https://repositorio.unesp.br/bitstreams/bee55255-8e30-4da7-aab7-cf3f5f7a6e98/download
https://repositorio.unesp.br/bitstreams/43581702-4ec0-4cba-8048-4bb418950b5a/download
https://repositorio.unesp.br/bitstreams/91021502-e73a-4b52-b462-9a0c83ce727a/download
bitstream.checksum.fl_str_mv cabdc1f9674db116b68f3130628495a5
be8db18da7b24be039bb3e04b159a340
c16eb9b9e79c9698c65ba6ffec5610fd
bdec5aff644146cbf1c4cd6ac1ba78c5
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UNESP - Universidade Estadual Paulista (UNESP)
repository.mail.fl_str_mv repositoriounesp@unesp.br
_version_ 1878343556559536128

Registros relacionados