Exploração da tarefa texto-para-SQL no contexto de mineração de processos: viabilidade e utilidade

• Ano de defesa: 2025
• Autor(a) principal: Yamate, Bruno Yui
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Biblioteca Digitais de Teses e Dissertações da USP
• Palavras-chave em Português: logs de eventos; Aprendizado profundo; Deep learning; Event logs; Grandes modelos de linguagem; Large language models; Mineração de processos; Natural language processing; Process mining; Processamento de língua natural; Text-to-SQL; Texto-para-SQL
• Link de acesso: https://www.teses.usp.br/teses/disponiveis/100/100131/tde-08082025-215605/

Permitir que requisições de informação em um banco de dados sejam realizadas por meio de enunciados em língua natural tem sido uma tarefa explorada já há alguns anos. Com os avanços dos modelos de aprendizado profundo e dos grandes modelos de linguagem, esses modelos passaram a ser explorados na geração de declarações em SQL a partir de enunciados em língua natural, tarefa conhecida como texto-para-SQL. A tarefa texto-para-SQL tem o potencial para democratizar o acesso à informação para um usuário comum e ajudar na produtividade de programadores na implementação de consultas para um sistema gerenciador de banco de dados. Uma área que pode se beneficiar da tarefa texto-para-SQL é a área de mineração de processos. Por meio de implementações texto-para-SQL, requisições de informação podem ser formuladas utilizando enunciados em língua natural e executadas sobre os logs de eventos armazenados em bases de dados. Este trabalho tem o objetivo de habilitar a tarefa texto-para-SQL no contexto de mineração de processos para elaboração de requisições de informação em logs de eventos, com foco na avaliação da viabilidade e utilidade das implementações que realizam essa tarefa. Para isso, duas principais etapas foram desenvolvidas. Primeiramente, foi construído um conjunto de dados anotado, denominado text2SQL4PM, contendo enunciados em língua natural, em português e em inglês, relacionados `a requisição de informação no contexto da mineração de processos, acompanhados de suas respectivas declarações em SQL. Em seguida, diferentes implementações da tarefa texto-para-SQL foram avaliadas com o uso de três grandes modelos de linguagem - GPT-3.5 Turbo, Gemini-1.0 Pro e Llama3-8B Instruct - juntamente com técnicas de engenharia de prompt, utilizando esse conjunto como referência. A avaliação dos resultados foi conduzida por meio de medidas padrão adotadas na literatura, complementada por uma análise sob diferentes perspectivas, por meio de qualificadores e uma categorização das declarações em SQL por complexidade e templates padrão. Com isso, a construção do conjunto de dados text2SQL4PM e a documentação detalhada de todo processo de criação, juntamente com os resultados obtidos e as análises realizadas com as implementações texto-para-SQL avaliadas, permitiram identificar desafios e limitações, além de estabelecer um ponto de partida para avaliação da viabilidade da tarefa texto-para-SQL quando aplicada ao domínio de mineração de processos. Além disso, identificou-se uma utilidade de ordem conceitual, evidenciada durante o processo de construção do conjunto text2SQL4PM. Essa utilidade amplia a compreensão dos desafios envolvidos, e oferece uma base para avanços futuros e reforça perspectivas promissoras para a evolução da tarefa no contexto de mineração de processos.