Uso de linguagem natural para consulta de informações dos microdados do Censo Escolar brasileiro
| Ano de defesa: | 2021 |
|---|---|
| Autor(a) principal: | |
| Orientador(a): | |
| Banca de defesa: | |
| Tipo de documento: | Dissertação |
| Tipo de acesso: | Acesso aberto |
| dARK ID: | ark:/26339/0013000011t2g |
| Idioma: | por |
| Instituição de defesa: |
Universidade Federal de Santa Maria
Brasil Ciência da Computação UFSM Programa de Pós-Graduação em Ciência da Computação Centro de Tecnologia |
| Programa de Pós-Graduação: |
Não Informado pela instituição
|
| Departamento: |
Não Informado pela instituição
|
| País: |
Não Informado pela instituição
|
| Palavras-chave em Português: | |
| Link de acesso: | http://repositorio.ufsm.br/handle/1/23051 |
Resumo: | The accelerated growth of the data obtained and stored has been observed for many years, motivating a growing investigation for new forms of querying, enabling other ways to query information that is useful in several knowledge domains. In this sense, Question Answering (QA) is a specialized area of Information Retrieval, whose objective is to obtain precise and direct answers that satisfy the user’s need for information, given a question expressed in Natural Language (NL). For this task, a set of Natural Language Processing (NLP) techniques are applied for understanding human language. Although NLP has maturity in some languages (such as English), this research area presents numerous challenges, due to the difficulty of NL understanding caused by use of words that have similar meanings, slang/regional terms, incorrect spelling, or ambiguity. Moreover, in the Portuguese language, there is still a research gap, possibly motivated by the complexity that Portuguese language present in comparison to other languages. Thus, this research presents an exploratory study on the NLP applied to QA systems, and for that, a QA system was designed and developed for querying information from open data of Brazilian Educational Census, which is the largest and most important statistical research performed by Anísio Teixeira National Institute of Educational Studies and Research. The presented system applies a hybrid approach to understand the meaning of the question, i.e., it combines the linguistic and rule-based approaches, which are manually constructed based on the data dictionary and current educational legislation. The results of the evaluation carried out with Education professionals suggest the ease of use of the QA system, in addition to the importance of the tool for querying information in this data set. However, there are still many difficulties related to the NLP itself, and particularities related to the educational data set used. |
| id |
UFSM_68ff2c64a0c37c921038b4a3b169ba87 |
|---|---|
| oai_identifier_str |
oai:repositorio.ufsm.br:1/23051 |
| network_acronym_str |
UFSM |
| network_name_str |
Manancial - Repositório Digital da UFSM |
| repository_id_str |
|
| spelling |
Uso de linguagem natural para consulta de informações dos microdados do Censo Escolar brasileiroUse of natural language for querying microdata from brazilian Educational CensusSistemas de perguntas e respostasProcessamento de linguagem naturalDados abertosCenso escolarQuestion answering systemsNatural language processingOpen dataBrazilian educational censusCNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAOThe accelerated growth of the data obtained and stored has been observed for many years, motivating a growing investigation for new forms of querying, enabling other ways to query information that is useful in several knowledge domains. In this sense, Question Answering (QA) is a specialized area of Information Retrieval, whose objective is to obtain precise and direct answers that satisfy the user’s need for information, given a question expressed in Natural Language (NL). For this task, a set of Natural Language Processing (NLP) techniques are applied for understanding human language. Although NLP has maturity in some languages (such as English), this research area presents numerous challenges, due to the difficulty of NL understanding caused by use of words that have similar meanings, slang/regional terms, incorrect spelling, or ambiguity. Moreover, in the Portuguese language, there is still a research gap, possibly motivated by the complexity that Portuguese language present in comparison to other languages. Thus, this research presents an exploratory study on the NLP applied to QA systems, and for that, a QA system was designed and developed for querying information from open data of Brazilian Educational Census, which is the largest and most important statistical research performed by Anísio Teixeira National Institute of Educational Studies and Research. The presented system applies a hybrid approach to understand the meaning of the question, i.e., it combines the linguistic and rule-based approaches, which are manually constructed based on the data dictionary and current educational legislation. The results of the evaluation carried out with Education professionals suggest the ease of use of the QA system, in addition to the importance of the tool for querying information in this data set. However, there are still many difficulties related to the NLP itself, and particularities related to the educational data set used.O crescimento acelerado dos dados produzidos e armazenados tem sido observado há vários anos, motivando uma busca crescente por novas formas de consulta, possibilitando outras formas de buscar informações que sejam úteis em várias áreas do conhecimento. Nesse sentido, os sistemas de Perguntas e Respostas (SPR) se constituem como uma área especializada da Recuperação da Informação, cujo objetivo consiste na obtenção de respostas precisas e diretas, e que satisfaçam a necessidade de informação do usuário, dada uma pergunta expressa em Linguagem Natural (LN). Para isso, são aplicados um conjunto de técnicas de Processamento de Linguagem Natural (PLN) que buscam a compreensão da linguagem humana. Apesar do PLN apresentar maturidade em alguns idiomas (como o inglês), essa área de pesquisa apresenta inúmeros desafios, devido a dificuldade de compreensão da LN em razão do uso de palavras que tenham significados semelhantes, gírias/termos regionais, escrita incorreta ou ambiguidade. Além disso, na língua portuguesa, ainda existe uma lacuna de pesquisa, possivelmente motivada pela complexidade que a língua portuguesa apresenta em relação a outros idiomas. Desse modo, esta pesquisa apresenta um estudo exploratório sobre o PLN aplicado aos SPRs, e para isso, foi planejado e desenvolvido um SPR para consulta de informações provenientes dos dados abertos do Censo Escolar brasileiro, que trata-se da maior e mais importante pesquisa estatística realizada pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. O sistema apresentado utiliza uma abordagem híbrida para compreender o sentido da pergunta, isto é, combina as abordagens linguística e baseada baseada em regras, estas construídas manualmente baseando-se no dicionário dos dados e legislação educacional vigente. Os resultados da avaliação realizada junto a profissionais da área da educação sugerem a facilidade do uso de um SPR, além da importância da ferramenta para consulta dessas informações nesse conjunto de dados, no entanto, ainda são encontradas uma série de dificuldades relacionadas ao PLN propriamente dito, além de particularidades relativas ao conjunto de dados educacionais usado.Universidade Federal de Santa MariaBrasilCiência da ComputaçãoUFSMPrograma de Pós-Graduação em Ciência da ComputaçãoCentro de TecnologiaCharao, Andrea Schwertnerhttp://lattes.cnpq.br/8251676116103188Lima, Joao Carlos DamascenoDel Fabro, Marcos DidonetAntoni, Marco2021-11-29T17:20:35Z2021-11-29T17:20:35Z2021-03-31info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://repositorio.ufsm.br/handle/1/23051ark:/26339/0013000011t2gporAttribution-NonCommercial-NoDerivatives 4.0 Internationalinfo:eu-repo/semantics/openAccessreponame:Manancial - Repositório Digital da UFSMinstname:Universidade Federal de Santa Maria (UFSM)instacron:UFSM2022-05-18T15:03:47Zoai:repositorio.ufsm.br:1/23051Biblioteca Digital de Teses e Dissertaçõeshttps://repositorio.ufsm.br/PUBhttps://repositorio.ufsm.br/oai/requestatendimento.sib@ufsm.br||tedebc@gmail.com||manancial@ufsm.bropendoar:2022-05-18T15:03:47Manancial - Repositório Digital da UFSM - Universidade Federal de Santa Maria (UFSM)false |
| dc.title.none.fl_str_mv |
Uso de linguagem natural para consulta de informações dos microdados do Censo Escolar brasileiro Use of natural language for querying microdata from brazilian Educational Census |
| title |
Uso de linguagem natural para consulta de informações dos microdados do Censo Escolar brasileiro |
| spellingShingle |
Uso de linguagem natural para consulta de informações dos microdados do Censo Escolar brasileiro Antoni, Marco Sistemas de perguntas e respostas Processamento de linguagem natural Dados abertos Censo escolar Question answering systems Natural language processing Open data Brazilian educational census CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO |
| title_short |
Uso de linguagem natural para consulta de informações dos microdados do Censo Escolar brasileiro |
| title_full |
Uso de linguagem natural para consulta de informações dos microdados do Censo Escolar brasileiro |
| title_fullStr |
Uso de linguagem natural para consulta de informações dos microdados do Censo Escolar brasileiro |
| title_full_unstemmed |
Uso de linguagem natural para consulta de informações dos microdados do Censo Escolar brasileiro |
| title_sort |
Uso de linguagem natural para consulta de informações dos microdados do Censo Escolar brasileiro |
| author |
Antoni, Marco |
| author_facet |
Antoni, Marco |
| author_role |
author |
| dc.contributor.none.fl_str_mv |
Charao, Andrea Schwertner http://lattes.cnpq.br/8251676116103188 Lima, Joao Carlos Damasceno Del Fabro, Marcos Didonet |
| dc.contributor.author.fl_str_mv |
Antoni, Marco |
| dc.subject.por.fl_str_mv |
Sistemas de perguntas e respostas Processamento de linguagem natural Dados abertos Censo escolar Question answering systems Natural language processing Open data Brazilian educational census CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO |
| topic |
Sistemas de perguntas e respostas Processamento de linguagem natural Dados abertos Censo escolar Question answering systems Natural language processing Open data Brazilian educational census CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO |
| description |
The accelerated growth of the data obtained and stored has been observed for many years, motivating a growing investigation for new forms of querying, enabling other ways to query information that is useful in several knowledge domains. In this sense, Question Answering (QA) is a specialized area of Information Retrieval, whose objective is to obtain precise and direct answers that satisfy the user’s need for information, given a question expressed in Natural Language (NL). For this task, a set of Natural Language Processing (NLP) techniques are applied for understanding human language. Although NLP has maturity in some languages (such as English), this research area presents numerous challenges, due to the difficulty of NL understanding caused by use of words that have similar meanings, slang/regional terms, incorrect spelling, or ambiguity. Moreover, in the Portuguese language, there is still a research gap, possibly motivated by the complexity that Portuguese language present in comparison to other languages. Thus, this research presents an exploratory study on the NLP applied to QA systems, and for that, a QA system was designed and developed for querying information from open data of Brazilian Educational Census, which is the largest and most important statistical research performed by Anísio Teixeira National Institute of Educational Studies and Research. The presented system applies a hybrid approach to understand the meaning of the question, i.e., it combines the linguistic and rule-based approaches, which are manually constructed based on the data dictionary and current educational legislation. The results of the evaluation carried out with Education professionals suggest the ease of use of the QA system, in addition to the importance of the tool for querying information in this data set. However, there are still many difficulties related to the NLP itself, and particularities related to the educational data set used. |
| publishDate |
2021 |
| dc.date.none.fl_str_mv |
2021-11-29T17:20:35Z 2021-11-29T17:20:35Z 2021-03-31 |
| dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
| dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
| format |
masterThesis |
| status_str |
publishedVersion |
| dc.identifier.uri.fl_str_mv |
http://repositorio.ufsm.br/handle/1/23051 |
| dc.identifier.dark.fl_str_mv |
ark:/26339/0013000011t2g |
| url |
http://repositorio.ufsm.br/handle/1/23051 |
| identifier_str_mv |
ark:/26339/0013000011t2g |
| dc.language.iso.fl_str_mv |
por |
| language |
por |
| dc.rights.driver.fl_str_mv |
Attribution-NonCommercial-NoDerivatives 4.0 International info:eu-repo/semantics/openAccess |
| rights_invalid_str_mv |
Attribution-NonCommercial-NoDerivatives 4.0 International |
| eu_rights_str_mv |
openAccess |
| dc.format.none.fl_str_mv |
application/pdf |
| dc.publisher.none.fl_str_mv |
Universidade Federal de Santa Maria Brasil Ciência da Computação UFSM Programa de Pós-Graduação em Ciência da Computação Centro de Tecnologia |
| publisher.none.fl_str_mv |
Universidade Federal de Santa Maria Brasil Ciência da Computação UFSM Programa de Pós-Graduação em Ciência da Computação Centro de Tecnologia |
| dc.source.none.fl_str_mv |
reponame:Manancial - Repositório Digital da UFSM instname:Universidade Federal de Santa Maria (UFSM) instacron:UFSM |
| instname_str |
Universidade Federal de Santa Maria (UFSM) |
| instacron_str |
UFSM |
| institution |
UFSM |
| reponame_str |
Manancial - Repositório Digital da UFSM |
| collection |
Manancial - Repositório Digital da UFSM |
| repository.name.fl_str_mv |
Manancial - Repositório Digital da UFSM - Universidade Federal de Santa Maria (UFSM) |
| repository.mail.fl_str_mv |
atendimento.sib@ufsm.br||tedebc@gmail.com||manancial@ufsm.br |
| _version_ |
1847153479388233728 |