Automated extraction of structured information from digital documents
| Ano de defesa: | 2026 |
|---|---|
| Autor(a) principal: | |
| Orientador(a): | |
| Banca de defesa: | |
| Tipo de documento: | Dissertação |
| Tipo de acesso: | Acesso aberto |
| Idioma: | eng |
| Instituição de defesa: |
Universidade Tecnológica Federal do Paraná
Curitiba Brasil Programa de Pós-Graduação em Computação Aplicada UTFPR |
| Programa de Pós-Graduação: |
Não Informado pela instituição
|
| Departamento: |
Não Informado pela instituição
|
| País: |
Não Informado pela instituição
|
| Palavras-chave em Português: | |
| Link de acesso: | http://repositorio.utfpr.edu.br/jspui/handle/1/40729 |
Resumo: | We study information extraction from digital documents, including page images and PDF files, with special emphasis on energy invoices, which motivate the practical problem addressed in this work. We organize the pipeline into five stages: element detection, optical character recognition (OCR), key-value pair (KVP) linking, table structure recognition, and semantic normalization. The main methodological contribution is a compact Graph Neural Network (GNN) for KVP linking that extends Doc2Graph with selective edge generation, attention-based message passing, and focal loss. The second contribution is a multi-view normalization module that maps heterogeneous invoice fields to a standardized schema with 27 categories. The evaluation combines public tests with an invoice-oriented semantic normalization study and uses a cross-dataset train/test design to separate in-domain performance, transfer to a different dataset, and combined-training behavior. On FUNSD, the proposed GNN reaches 1 = 0.77 with 890 K parameters, while BROS reaches 1 = 0.80 with 111 M parameters. Across the full public KVP cross-dataset evaluation, the proposed GNN increases the average cross-dataset 1 from 0.19 (Doc2Graph) to 0.61 and matches BROS’s average cross-dataset performance with roughly 124 times fewer parameters. For table structure recognition, the domain-pretrained Table Transformer reaches 1 = 0.96, compared with 1 = 0.83 for a generic DETR detector. For semantic normalization, the mixed-invoice split reaches top-1/top-3 = 0.77/0.88 with ground-truth candidates but drops to 0.43/0.52 when fed KVP+TSR candidates. When invoices are trained and tested on providerspecific layouts, the corresponding provider mean remains much higher at 0.83/0.90. These results show that the main gains come from task-specific graph construction and from an explicit normalization stage that converts heterogeneous invoice fields into a common schema. |
| id |
UTFPR-12_530e10ba2b8b0af30fe751699363f237 |
|---|---|
| oai_identifier_str |
oai:repositorio.utfpr.edu.br:1/40729 |
| network_acronym_str |
UTFPR-12 |
| network_name_str |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
| repository_id_str |
|
| spelling |
Automated extraction of structured information from digital documentsExtração automatizada de informações em documentos digitalizadosProcessamento de imagens - Técnicas digitaisReconhecimento óptico de caracteresRedes neurais (Computação)Teoria dos grafosProcessamento de linguagem natural (Computação)Recuperação da informaçãoAprendizado do computadorSistemas de reconhecimento de padrõesImage processing - Digital techniquesOptical character recognitionNeural networks (Computer science)Graph theoryNatural language processing (Computer science)Information retrievalMachine learningPattern recognition systemsCNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAOCiência da ComputaçãoWe study information extraction from digital documents, including page images and PDF files, with special emphasis on energy invoices, which motivate the practical problem addressed in this work. We organize the pipeline into five stages: element detection, optical character recognition (OCR), key-value pair (KVP) linking, table structure recognition, and semantic normalization. The main methodological contribution is a compact Graph Neural Network (GNN) for KVP linking that extends Doc2Graph with selective edge generation, attention-based message passing, and focal loss. The second contribution is a multi-view normalization module that maps heterogeneous invoice fields to a standardized schema with 27 categories. The evaluation combines public tests with an invoice-oriented semantic normalization study and uses a cross-dataset train/test design to separate in-domain performance, transfer to a different dataset, and combined-training behavior. On FUNSD, the proposed GNN reaches 1 = 0.77 with 890 K parameters, while BROS reaches 1 = 0.80 with 111 M parameters. Across the full public KVP cross-dataset evaluation, the proposed GNN increases the average cross-dataset 1 from 0.19 (Doc2Graph) to 0.61 and matches BROS’s average cross-dataset performance with roughly 124 times fewer parameters. For table structure recognition, the domain-pretrained Table Transformer reaches 1 = 0.96, compared with 1 = 0.83 for a generic DETR detector. For semantic normalization, the mixed-invoice split reaches top-1/top-3 = 0.77/0.88 with ground-truth candidates but drops to 0.43/0.52 when fed KVP+TSR candidates. When invoices are trained and tested on providerspecific layouts, the corresponding provider mean remains much higher at 0.83/0.90. These results show that the main gains come from task-specific graph construction and from an explicit normalization stage that converts heterogeneous invoice fields into a common schema.Este trabalho estuda a extração de informações de documentos digitais, incluindo imagens de páginas e arquivos PDF, com ênfase especial em faturas de energia, que motivam o problema prático abordado nesta dissertação. Organizamos o pipeline em cinco etapas: detecção de elementos, reconhecimento óptico de caracteres (OCR), ligação de pares chave-valor (KVP), reconhecimento da estrutura de tabelas e normalização semântica. A principal contribuição metodológica é uma Rede Neural em Grafos (GNN) compacta para ligação de KVP que estende o Doc2Graph com geração seletiva de arestas, passagem de mensagens baseada em atenção e perda focal. A segunda contribuição é um módulo de normalização multivisão que mapeia campos heterogêneos de faturas para um esquema padronizado com 27 categorias. A avalia- ção combina testes públicos com um estudo de normalização semântica orientado a faturas e usa um desenho de treino/teste entre conjuntos de dados para separar desempenho no mesmo domínio, transferência para outro conjunto e treinamento combinado. No FUNSD, a GNN proposta atinge 1 = 0.77 com 890 K parâmetros, enquanto o BROS atinge 1 = 0.80 com 111 M parâmetros. Em toda a avaliação pública de KVP entre conjuntos de dados, a GNN proposta aumenta o 1 médio entre conjuntos de dados de 0.19 (Doc2Graph) para 0.61 e iguala o desempenho médio entre conjuntos do BROS com aproximadamente 124 vezes menos parâmetros. Para o reconhecimento da estrutura de tabelas, o Table Transformer pré-treinado no domínio atinge 1 = 0.96, em comparação com 1 = 0.83 para um detector DETR genérico. Para a normalização semântica, a divisão mista de faturas atinge top-1/top-3 = 0.77/0.88 com candidatos anotados, mas cai para 0.43/0.52 quando alimentada com candidatos KVP+TSR. Quando as faturas são treinadas e testadas em layouts específicos de fornecedores, a média correspondente dos fornecedores permanece muito mais alta, em 0.83/0.90. Esses resultados mostram que os principais ganhos vêm da construção de grafos específica da tarefa e de uma etapa explícita de normalização que converte campos heterogêneos de faturas em um esquema comum.Universidade Tecnológica Federal do ParanáCuritibaBrasilPrograma de Pós-Graduação em Computação AplicadaUTFPRSilva, Ricardo Dutra dahttps://orcid.org/0000-0002-8002-8411https://lattes.cnpq.br/8512085741397097Hochuli, Andre Gustavohttps://orcid.org/0000-0003-0190-547Xhttps://lattes.cnpq.br/0929607475088739Silva, Ricardo Dutra dahttps://orcid.org/0000-0002-8002-8411https://lattes.cnpq.br/8512085741397097Minetto, Rodrigohttps://orcid.org/0000-0003-2277-4632https://lattes.cnpq.br/8366112479020867Sichelero, Gabriel2026-07-08T19:03:21Z2026-07-08T19:03:21Z2026-06-23info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfSICHELERO, Gabriel. Automated extraction of structured information from digital documents. 2026. Dissertação (Mestrado em Computação Aplicada) - Universidade Tecnológica Federal do Paraná, Curitiba, 2026.http://repositorio.utfpr.edu.br/jspui/handle/1/40729enghttp://creativecommons.org/licenses/by/4.0/info:eu-repo/semantics/openAccessreponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))instname:Universidade Tecnológica Federal do Paraná (UTFPR)instacron:UTFPR2026-07-09T06:11:05Zoai:repositorio.utfpr.edu.br:1/40729Repositório InstitucionalPUBhttp://repositorio.utfpr.edu.br:8080/oai/requestriut@utfpr.edu.br || sibi@utfpr.edu.bropendoar:2026-07-09T06:11:05Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)false |
| dc.title.none.fl_str_mv |
Automated extraction of structured information from digital documents Extração automatizada de informações em documentos digitalizados |
| title |
Automated extraction of structured information from digital documents |
| spellingShingle |
Automated extraction of structured information from digital documents Sichelero, Gabriel Processamento de imagens - Técnicas digitais Reconhecimento óptico de caracteres Redes neurais (Computação) Teoria dos grafos Processamento de linguagem natural (Computação) Recuperação da informação Aprendizado do computador Sistemas de reconhecimento de padrões Image processing - Digital techniques Optical character recognition Neural networks (Computer science) Graph theory Natural language processing (Computer science) Information retrieval Machine learning Pattern recognition systems CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO Ciência da Computação |
| title_short |
Automated extraction of structured information from digital documents |
| title_full |
Automated extraction of structured information from digital documents |
| title_fullStr |
Automated extraction of structured information from digital documents |
| title_full_unstemmed |
Automated extraction of structured information from digital documents |
| title_sort |
Automated extraction of structured information from digital documents |
| author |
Sichelero, Gabriel |
| author_facet |
Sichelero, Gabriel |
| author_role |
author |
| dc.contributor.none.fl_str_mv |
Silva, Ricardo Dutra da https://orcid.org/0000-0002-8002-8411 https://lattes.cnpq.br/8512085741397097 Hochuli, Andre Gustavo https://orcid.org/0000-0003-0190-547X https://lattes.cnpq.br/0929607475088739 Silva, Ricardo Dutra da https://orcid.org/0000-0002-8002-8411 https://lattes.cnpq.br/8512085741397097 Minetto, Rodrigo https://orcid.org/0000-0003-2277-4632 https://lattes.cnpq.br/8366112479020867 |
| dc.contributor.author.fl_str_mv |
Sichelero, Gabriel |
| dc.subject.por.fl_str_mv |
Processamento de imagens - Técnicas digitais Reconhecimento óptico de caracteres Redes neurais (Computação) Teoria dos grafos Processamento de linguagem natural (Computação) Recuperação da informação Aprendizado do computador Sistemas de reconhecimento de padrões Image processing - Digital techniques Optical character recognition Neural networks (Computer science) Graph theory Natural language processing (Computer science) Information retrieval Machine learning Pattern recognition systems CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO Ciência da Computação |
| topic |
Processamento de imagens - Técnicas digitais Reconhecimento óptico de caracteres Redes neurais (Computação) Teoria dos grafos Processamento de linguagem natural (Computação) Recuperação da informação Aprendizado do computador Sistemas de reconhecimento de padrões Image processing - Digital techniques Optical character recognition Neural networks (Computer science) Graph theory Natural language processing (Computer science) Information retrieval Machine learning Pattern recognition systems CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO Ciência da Computação |
| description |
We study information extraction from digital documents, including page images and PDF files, with special emphasis on energy invoices, which motivate the practical problem addressed in this work. We organize the pipeline into five stages: element detection, optical character recognition (OCR), key-value pair (KVP) linking, table structure recognition, and semantic normalization. The main methodological contribution is a compact Graph Neural Network (GNN) for KVP linking that extends Doc2Graph with selective edge generation, attention-based message passing, and focal loss. The second contribution is a multi-view normalization module that maps heterogeneous invoice fields to a standardized schema with 27 categories. The evaluation combines public tests with an invoice-oriented semantic normalization study and uses a cross-dataset train/test design to separate in-domain performance, transfer to a different dataset, and combined-training behavior. On FUNSD, the proposed GNN reaches 1 = 0.77 with 890 K parameters, while BROS reaches 1 = 0.80 with 111 M parameters. Across the full public KVP cross-dataset evaluation, the proposed GNN increases the average cross-dataset 1 from 0.19 (Doc2Graph) to 0.61 and matches BROS’s average cross-dataset performance with roughly 124 times fewer parameters. For table structure recognition, the domain-pretrained Table Transformer reaches 1 = 0.96, compared with 1 = 0.83 for a generic DETR detector. For semantic normalization, the mixed-invoice split reaches top-1/top-3 = 0.77/0.88 with ground-truth candidates but drops to 0.43/0.52 when fed KVP+TSR candidates. When invoices are trained and tested on providerspecific layouts, the corresponding provider mean remains much higher at 0.83/0.90. These results show that the main gains come from task-specific graph construction and from an explicit normalization stage that converts heterogeneous invoice fields into a common schema. |
| publishDate |
2026 |
| dc.date.none.fl_str_mv |
2026-07-08T19:03:21Z 2026-07-08T19:03:21Z 2026-06-23 |
| dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
| dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
| format |
masterThesis |
| status_str |
publishedVersion |
| dc.identifier.uri.fl_str_mv |
SICHELERO, Gabriel. Automated extraction of structured information from digital documents. 2026. Dissertação (Mestrado em Computação Aplicada) - Universidade Tecnológica Federal do Paraná, Curitiba, 2026. http://repositorio.utfpr.edu.br/jspui/handle/1/40729 |
| identifier_str_mv |
SICHELERO, Gabriel. Automated extraction of structured information from digital documents. 2026. Dissertação (Mestrado em Computação Aplicada) - Universidade Tecnológica Federal do Paraná, Curitiba, 2026. |
| url |
http://repositorio.utfpr.edu.br/jspui/handle/1/40729 |
| dc.language.iso.fl_str_mv |
eng |
| language |
eng |
| dc.rights.driver.fl_str_mv |
http://creativecommons.org/licenses/by/4.0/ info:eu-repo/semantics/openAccess |
| rights_invalid_str_mv |
http://creativecommons.org/licenses/by/4.0/ |
| eu_rights_str_mv |
openAccess |
| dc.format.none.fl_str_mv |
application/pdf |
| dc.publisher.none.fl_str_mv |
Universidade Tecnológica Federal do Paraná Curitiba Brasil Programa de Pós-Graduação em Computação Aplicada UTFPR |
| publisher.none.fl_str_mv |
Universidade Tecnológica Federal do Paraná Curitiba Brasil Programa de Pós-Graduação em Computação Aplicada UTFPR |
| dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) instname:Universidade Tecnológica Federal do Paraná (UTFPR) instacron:UTFPR |
| instname_str |
Universidade Tecnológica Federal do Paraná (UTFPR) |
| instacron_str |
UTFPR |
| institution |
UTFPR |
| reponame_str |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
| collection |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
| repository.name.fl_str_mv |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR) |
| repository.mail.fl_str_mv |
riut@utfpr.edu.br || sibi@utfpr.edu.br |
| _version_ |
1879057199364308992 |