Investigating an in-context learning approach for SPARQL query generation

• Ano de defesa: 2025
• Autor(a) principal: Ferreira, Carlos Eduardo Antonio
• Orientador(a): Carbonera, Joel Luis
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: eng
• Palavras-chave em Português: Modelos de linguagem de grande escala; Aprendizado por contexto; Grafos de conhecimento
• Palavras-chave em Inglês: Knowledge graph question answering; Large language models; SPARQL generation
• Link de acesso: http://hdl.handle.net/10183/301166

Modelos de Linguagem de Grande Escala têm demonstrado um desempenho notável em ampla variedade de tarefas de processamento de linguagem natural. Entre as estratégias de adaptação a tarefas específicas, o ajuste fino é eficaz, porém computacionalmente custoso, enquanto o aprendizado por contexto oferece alternativa mais barata e flexível, especialmente atrativa em ambientes corporativos onde o ajuste fino geralmente é inviável. A área de KGQA (do inglês Knowledge Graph Question Answering) busca gerar respostas factuais para perguntas em linguagem natural, por meio de consultas a dados estruturados em grafos de conhecimento. Um dos principais desafios é traduzir perguntas em linguagem natural para consultas SPARQL precisas relacionadas a um KG específico, tarefa conhecida como text-to-SPARQL. Apesar do crescente interesse pela abordagem de aprendizado por contexto, sua eficácia para geração de consultas SPARQL permanece pouco explorada. Neste estudo, investigamos a viabilidade do uso de uma abordagem baseada em aprendizado por contexto para text-to-SPARQL utilizando LLMs previamente ajustados com instruções, com foco em como diferentes estratégias de seleção de exemplos nos prompts afetam o desempenho. Conduzimos experimentos utilizando o benchmark LC-QuAD 1.0 e um LLM com 70 bilhões de parâmetros. Analisamos os resultados executando as consultas geradas, comparando as respostas usando as métricas Mean F1-score e BLEU, e investigando as causas de erros. Ademais, introduzimos a RSE (Restricted Structural Equivalence), uma métrica projetada para avaliar a equivalência de consultas SPARQL sob um conjunto de critérios estruturais e semânticos. Nossos resultados mostram que mesmo poucos exemplos no prompt melhoram significativamente o desempenho, mas os ganhos se estabilizam após 10 exemplos. A seleção de exemplos baseada em similaridade superou a baseada em diversidade, enquanto a inclusão de URIs de referência resultou nas melhorias mais significativas. Esses achados destacam a desambiguação de entidades como o principal desafio para a geração de consultas SPARQL com LLMs e reforçam a importância da relevância dos exemplos em detrimento da quantidade.