Automated extraction of structured information from digital documents

Detalhes bibliográficos
Ano de defesa: 2026
Autor(a) principal: Sichelero, Gabriel
Orientador(a): Não Informado pela instituição
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: eng
Instituição de defesa: Universidade Tecnológica Federal do Paraná
Curitiba
Brasil
Programa de Pós-Graduação em Computação Aplicada
UTFPR
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Link de acesso: http://repositorio.utfpr.edu.br/jspui/handle/1/40729
Resumo: We study information extraction from digital documents, including page images and PDF files, with special emphasis on energy invoices, which motivate the practical problem addressed in this work. We organize the pipeline into five stages: element detection, optical character recognition (OCR), key-value pair (KVP) linking, table structure recognition, and semantic normalization. The main methodological contribution is a compact Graph Neural Network (GNN) for KVP linking that extends Doc2Graph with selective edge generation, attention-based message passing, and focal loss. The second contribution is a multi-view normalization module that maps heterogeneous invoice fields to a standardized schema with 27 categories. The evaluation combines public tests with an invoice-oriented semantic normalization study and uses a cross-dataset train/test design to separate in-domain performance, transfer to a different dataset, and combined-training behavior. On FUNSD, the proposed GNN reaches 1 = 0.77 with 890 K parameters, while BROS reaches 1 = 0.80 with 111 M parameters. Across the full public KVP cross-dataset evaluation, the proposed GNN increases the average cross-dataset 1 from 0.19 (Doc2Graph) to 0.61 and matches BROS’s average cross-dataset performance with roughly 124 times fewer parameters. For table structure recognition, the domain-pretrained Table Transformer reaches 1 = 0.96, compared with 1 = 0.83 for a generic DETR detector. For semantic normalization, the mixed-invoice split reaches top-1/top-3 = 0.77/0.88 with ground-truth candidates but drops to 0.43/0.52 when fed KVP+TSR candidates. When invoices are trained and tested on providerspecific layouts, the corresponding provider mean remains much higher at 0.83/0.90. These results show that the main gains come from task-specific graph construction and from an explicit normalization stage that converts heterogeneous invoice fields into a common schema.
id UTFPR-12_530e10ba2b8b0af30fe751699363f237
oai_identifier_str oai:repositorio.utfpr.edu.br:1/40729
network_acronym_str UTFPR-12
network_name_str Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
repository_id_str
spelling Automated extraction of structured information from digital documentsExtração automatizada de informações em documentos digitalizadosProcessamento de imagens - Técnicas digitaisReconhecimento óptico de caracteresRedes neurais (Computação)Teoria dos grafosProcessamento de linguagem natural (Computação)Recuperação da informaçãoAprendizado do computadorSistemas de reconhecimento de padrõesImage processing - Digital techniquesOptical character recognitionNeural networks (Computer science)Graph theoryNatural language processing (Computer science)Information retrievalMachine learningPattern recognition systemsCNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAOCiência da ComputaçãoWe study information extraction from digital documents, including page images and PDF files, with special emphasis on energy invoices, which motivate the practical problem addressed in this work. We organize the pipeline into five stages: element detection, optical character recognition (OCR), key-value pair (KVP) linking, table structure recognition, and semantic normalization. The main methodological contribution is a compact Graph Neural Network (GNN) for KVP linking that extends Doc2Graph with selective edge generation, attention-based message passing, and focal loss. The second contribution is a multi-view normalization module that maps heterogeneous invoice fields to a standardized schema with 27 categories. The evaluation combines public tests with an invoice-oriented semantic normalization study and uses a cross-dataset train/test design to separate in-domain performance, transfer to a different dataset, and combined-training behavior. On FUNSD, the proposed GNN reaches 1 = 0.77 with 890 K parameters, while BROS reaches 1 = 0.80 with 111 M parameters. Across the full public KVP cross-dataset evaluation, the proposed GNN increases the average cross-dataset 1 from 0.19 (Doc2Graph) to 0.61 and matches BROS’s average cross-dataset performance with roughly 124 times fewer parameters. For table structure recognition, the domain-pretrained Table Transformer reaches 1 = 0.96, compared with 1 = 0.83 for a generic DETR detector. For semantic normalization, the mixed-invoice split reaches top-1/top-3 = 0.77/0.88 with ground-truth candidates but drops to 0.43/0.52 when fed KVP+TSR candidates. When invoices are trained and tested on providerspecific layouts, the corresponding provider mean remains much higher at 0.83/0.90. These results show that the main gains come from task-specific graph construction and from an explicit normalization stage that converts heterogeneous invoice fields into a common schema.Este trabalho estuda a extração de informações de documentos digitais, incluindo imagens de páginas e arquivos PDF, com ênfase especial em faturas de energia, que motivam o problema prático abordado nesta dissertação. Organizamos o pipeline em cinco etapas: detecção de elementos, reconhecimento óptico de caracteres (OCR), ligação de pares chave-valor (KVP), reconhecimento da estrutura de tabelas e normalização semântica. A principal contribuição metodológica é uma Rede Neural em Grafos (GNN) compacta para ligação de KVP que estende o Doc2Graph com geração seletiva de arestas, passagem de mensagens baseada em atenção e perda focal. A segunda contribuição é um módulo de normalização multivisão que mapeia campos heterogêneos de faturas para um esquema padronizado com 27 categorias. A avalia- ção combina testes públicos com um estudo de normalização semântica orientado a faturas e usa um desenho de treino/teste entre conjuntos de dados para separar desempenho no mesmo domínio, transferência para outro conjunto e treinamento combinado. No FUNSD, a GNN proposta atinge 1 = 0.77 com 890 K parâmetros, enquanto o BROS atinge 1 = 0.80 com 111 M parâmetros. Em toda a avaliação pública de KVP entre conjuntos de dados, a GNN proposta aumenta o 1 médio entre conjuntos de dados de 0.19 (Doc2Graph) para 0.61 e iguala o desempenho médio entre conjuntos do BROS com aproximadamente 124 vezes menos parâmetros. Para o reconhecimento da estrutura de tabelas, o Table Transformer pré-treinado no domínio atinge 1 = 0.96, em comparação com 1 = 0.83 para um detector DETR genérico. Para a normalização semântica, a divisão mista de faturas atinge top-1/top-3 = 0.77/0.88 com candidatos anotados, mas cai para 0.43/0.52 quando alimentada com candidatos KVP+TSR. Quando as faturas são treinadas e testadas em layouts específicos de fornecedores, a média correspondente dos fornecedores permanece muito mais alta, em 0.83/0.90. Esses resultados mostram que os principais ganhos vêm da construção de grafos específica da tarefa e de uma etapa explícita de normalização que converte campos heterogêneos de faturas em um esquema comum.Universidade Tecnológica Federal do ParanáCuritibaBrasilPrograma de Pós-Graduação em Computação AplicadaUTFPRSilva, Ricardo Dutra dahttps://orcid.org/0000-0002-8002-8411https://lattes.cnpq.br/8512085741397097Hochuli, Andre Gustavohttps://orcid.org/0000-0003-0190-547Xhttps://lattes.cnpq.br/0929607475088739Silva, Ricardo Dutra dahttps://orcid.org/0000-0002-8002-8411https://lattes.cnpq.br/8512085741397097Minetto, Rodrigohttps://orcid.org/0000-0003-2277-4632https://lattes.cnpq.br/8366112479020867Sichelero, Gabriel2026-07-08T19:03:21Z2026-07-08T19:03:21Z2026-06-23info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfSICHELERO, Gabriel. Automated extraction of structured information from digital documents. 2026. Dissertação (Mestrado em Computação Aplicada) - Universidade Tecnológica Federal do Paraná, Curitiba, 2026.http://repositorio.utfpr.edu.br/jspui/handle/1/40729enghttp://creativecommons.org/licenses/by/4.0/info:eu-repo/semantics/openAccessreponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))instname:Universidade Tecnológica Federal do Paraná (UTFPR)instacron:UTFPR2026-07-09T06:11:05Zoai:repositorio.utfpr.edu.br:1/40729Repositório InstitucionalPUBhttp://repositorio.utfpr.edu.br:8080/oai/requestriut@utfpr.edu.br || sibi@utfpr.edu.bropendoar:2026-07-09T06:11:05Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)false
dc.title.none.fl_str_mv Automated extraction of structured information from digital documents
Extração automatizada de informações em documentos digitalizados
title Automated extraction of structured information from digital documents
spellingShingle Automated extraction of structured information from digital documents
Sichelero, Gabriel
Processamento de imagens - Técnicas digitais
Reconhecimento óptico de caracteres
Redes neurais (Computação)
Teoria dos grafos
Processamento de linguagem natural (Computação)
Recuperação da informação
Aprendizado do computador
Sistemas de reconhecimento de padrões
Image processing - Digital techniques
Optical character recognition
Neural networks (Computer science)
Graph theory
Natural language processing (Computer science)
Information retrieval
Machine learning
Pattern recognition systems
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO
Ciência da Computação
title_short Automated extraction of structured information from digital documents
title_full Automated extraction of structured information from digital documents
title_fullStr Automated extraction of structured information from digital documents
title_full_unstemmed Automated extraction of structured information from digital documents
title_sort Automated extraction of structured information from digital documents
author Sichelero, Gabriel
author_facet Sichelero, Gabriel
author_role author
dc.contributor.none.fl_str_mv Silva, Ricardo Dutra da
https://orcid.org/0000-0002-8002-8411
https://lattes.cnpq.br/8512085741397097
Hochuli, Andre Gustavo
https://orcid.org/0000-0003-0190-547X
https://lattes.cnpq.br/0929607475088739
Silva, Ricardo Dutra da
https://orcid.org/0000-0002-8002-8411
https://lattes.cnpq.br/8512085741397097
Minetto, Rodrigo
https://orcid.org/0000-0003-2277-4632
https://lattes.cnpq.br/8366112479020867
dc.contributor.author.fl_str_mv Sichelero, Gabriel
dc.subject.por.fl_str_mv Processamento de imagens - Técnicas digitais
Reconhecimento óptico de caracteres
Redes neurais (Computação)
Teoria dos grafos
Processamento de linguagem natural (Computação)
Recuperação da informação
Aprendizado do computador
Sistemas de reconhecimento de padrões
Image processing - Digital techniques
Optical character recognition
Neural networks (Computer science)
Graph theory
Natural language processing (Computer science)
Information retrieval
Machine learning
Pattern recognition systems
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO
Ciência da Computação
topic Processamento de imagens - Técnicas digitais
Reconhecimento óptico de caracteres
Redes neurais (Computação)
Teoria dos grafos
Processamento de linguagem natural (Computação)
Recuperação da informação
Aprendizado do computador
Sistemas de reconhecimento de padrões
Image processing - Digital techniques
Optical character recognition
Neural networks (Computer science)
Graph theory
Natural language processing (Computer science)
Information retrieval
Machine learning
Pattern recognition systems
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO
Ciência da Computação
description We study information extraction from digital documents, including page images and PDF files, with special emphasis on energy invoices, which motivate the practical problem addressed in this work. We organize the pipeline into five stages: element detection, optical character recognition (OCR), key-value pair (KVP) linking, table structure recognition, and semantic normalization. The main methodological contribution is a compact Graph Neural Network (GNN) for KVP linking that extends Doc2Graph with selective edge generation, attention-based message passing, and focal loss. The second contribution is a multi-view normalization module that maps heterogeneous invoice fields to a standardized schema with 27 categories. The evaluation combines public tests with an invoice-oriented semantic normalization study and uses a cross-dataset train/test design to separate in-domain performance, transfer to a different dataset, and combined-training behavior. On FUNSD, the proposed GNN reaches 1 = 0.77 with 890 K parameters, while BROS reaches 1 = 0.80 with 111 M parameters. Across the full public KVP cross-dataset evaluation, the proposed GNN increases the average cross-dataset 1 from 0.19 (Doc2Graph) to 0.61 and matches BROS’s average cross-dataset performance with roughly 124 times fewer parameters. For table structure recognition, the domain-pretrained Table Transformer reaches 1 = 0.96, compared with 1 = 0.83 for a generic DETR detector. For semantic normalization, the mixed-invoice split reaches top-1/top-3 = 0.77/0.88 with ground-truth candidates but drops to 0.43/0.52 when fed KVP+TSR candidates. When invoices are trained and tested on providerspecific layouts, the corresponding provider mean remains much higher at 0.83/0.90. These results show that the main gains come from task-specific graph construction and from an explicit normalization stage that converts heterogeneous invoice fields into a common schema.
publishDate 2026
dc.date.none.fl_str_mv 2026-07-08T19:03:21Z
2026-07-08T19:03:21Z
2026-06-23
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv SICHELERO, Gabriel. Automated extraction of structured information from digital documents. 2026. Dissertação (Mestrado em Computação Aplicada) - Universidade Tecnológica Federal do Paraná, Curitiba, 2026.
http://repositorio.utfpr.edu.br/jspui/handle/1/40729
identifier_str_mv SICHELERO, Gabriel. Automated extraction of structured information from digital documents. 2026. Dissertação (Mestrado em Computação Aplicada) - Universidade Tecnológica Federal do Paraná, Curitiba, 2026.
url http://repositorio.utfpr.edu.br/jspui/handle/1/40729
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv http://creativecommons.org/licenses/by/4.0/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv http://creativecommons.org/licenses/by/4.0/
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Tecnológica Federal do Paraná
Curitiba
Brasil
Programa de Pós-Graduação em Computação Aplicada
UTFPR
publisher.none.fl_str_mv Universidade Tecnológica Federal do Paraná
Curitiba
Brasil
Programa de Pós-Graduação em Computação Aplicada
UTFPR
dc.source.none.fl_str_mv reponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
instname:Universidade Tecnológica Federal do Paraná (UTFPR)
instacron:UTFPR
instname_str Universidade Tecnológica Federal do Paraná (UTFPR)
instacron_str UTFPR
institution UTFPR
reponame_str Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
collection Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
repository.name.fl_str_mv Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)
repository.mail.fl_str_mv riut@utfpr.edu.br || sibi@utfpr.edu.br
_version_ 1879057199364308992