Classificação de produtos utilizando técnicas few-shot learning

Detalhes bibliográficos
Ano de defesa: 2022
Autor(a) principal: Chaves, Aleson Gleik Silva lattes
Orientador(a): Barbosa, Bruno Henrique Groenner
Banca de defesa: Zegarra Rodriguez, Demostenes, Vitor, Giovani Bernardes
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Universidade Federal de Lavras
Programa de Pós-Graduação: Programa de Pós-Graduação em Engenharia de Sistemas e Automação
Departamento: Departamento de Engenharia
País: brasil
Palavras-chave em Português:
Área do conhecimento CNPq:
Link de acesso: https://repositorio.ufla.br/handle/1/50705
Resumo: As plataformas de comércio eletrônico (marketplaces) recebem diariamente milhares de produtos pertencentes a classes novas que não participaram do processo de treinamento do algoritmo responsável por automatizar a classificação de produtos. O retreinamento com estas classes novas é uma necessidade, pois a categorização incorreta de produtos nos marketplaces pode levar o consumidor a experiências desagradáveis no processo de compra. Porém, é difícil a constante atualização do sistema com estes produtos, pois o custo de retreinamento dos classificadores atualmente em operação é elevado devido à grande dimensão das bases de dados. A proposta apresentada neste trabalho é a utilização de classificadores de produtos que utilizam algoritmos do tipo few-shot learning, que são capazes de serem treinados com uma ou com poucas amostras por classes. Estes possuem treinamento rápido e necessitam de base de dados em dimensão reduzida. Os algoritmos testados foram: k-vizinhos mais próximos (KNN), redes Matching Networks (MN) e as redes DPGN (Distribuition Propagation Graph Network). Os algoritmos propostos para classificação de produtos utilizam características previamente extraídas a partir do processo de transfer learning, exceto para as redes matching com encoder contendo uma rede Bi-LSTM que recebe dados em linguagem natural extraídos por algoritmos embeddings. Os algoritmos foram testados com validação cruzada do tipo leave one out e k-fold. Também foi realizada a seleção das melhores características da base, possibilitando a redução de dimensão das mesmas, facilitando treinamento das redes neurais com few-shot learning. Foram utilizadas duas bases de dados para os testes, uma contendo 34 classes e 394 amostras e outra que possui 312 classes e 3120 amostras. O KNN foi utilizado como baseline do projeto e, apesar da simplicidade e não necessidade de treinamento, apresentou resultado satisfatório. As redes matching e DPGN ambas apresentaram resultados com 96,85% de acurácia conseguindo superar o KNN utilizando a base de dados com 34 classes e para a base de dados com 312 classes o melhor resultado foi obtido pelas redes matching com 93,78% de acurácia. A abordagem proposta de classificação de produtos pertencentes a classes novas traz como contribuição a correta categorização e a manutenção da acurácia exigida em marketplaces, sem a necessidade do retreinamento constante dos classificadores atualmente em operação. Isso pode trazer uma redução significativa de custo de uso do servidor em nuvem e melhores experiências de compras para os clientes.
id UFLA_24f88ced0db7f8c2d4cc3853ca91da54
oai_identifier_str oai:repositorio.ufla.br:1/50705
network_acronym_str UFLA
network_name_str Repositório Institucional da UFLA
repository_id_str
spelling 2022-07-25T18:02:47Z2022-07-25T18:02:47Z2022-07-252022-04-29CHAVES, A. G. S. Classificação de produtos utilizando técnicas few-shot learning. 2022. 108 p. Dissertação (Mestrado em Engenharia de Sistemas e Automação) – Universidade Federal de Lavras, Lavras, 2022.https://repositorio.ufla.br/handle/1/50705As plataformas de comércio eletrônico (marketplaces) recebem diariamente milhares de produtos pertencentes a classes novas que não participaram do processo de treinamento do algoritmo responsável por automatizar a classificação de produtos. O retreinamento com estas classes novas é uma necessidade, pois a categorização incorreta de produtos nos marketplaces pode levar o consumidor a experiências desagradáveis no processo de compra. Porém, é difícil a constante atualização do sistema com estes produtos, pois o custo de retreinamento dos classificadores atualmente em operação é elevado devido à grande dimensão das bases de dados. A proposta apresentada neste trabalho é a utilização de classificadores de produtos que utilizam algoritmos do tipo few-shot learning, que são capazes de serem treinados com uma ou com poucas amostras por classes. Estes possuem treinamento rápido e necessitam de base de dados em dimensão reduzida. Os algoritmos testados foram: k-vizinhos mais próximos (KNN), redes Matching Networks (MN) e as redes DPGN (Distribuition Propagation Graph Network). Os algoritmos propostos para classificação de produtos utilizam características previamente extraídas a partir do processo de transfer learning, exceto para as redes matching com encoder contendo uma rede Bi-LSTM que recebe dados em linguagem natural extraídos por algoritmos embeddings. Os algoritmos foram testados com validação cruzada do tipo leave one out e k-fold. Também foi realizada a seleção das melhores características da base, possibilitando a redução de dimensão das mesmas, facilitando treinamento das redes neurais com few-shot learning. Foram utilizadas duas bases de dados para os testes, uma contendo 34 classes e 394 amostras e outra que possui 312 classes e 3120 amostras. O KNN foi utilizado como baseline do projeto e, apesar da simplicidade e não necessidade de treinamento, apresentou resultado satisfatório. As redes matching e DPGN ambas apresentaram resultados com 96,85% de acurácia conseguindo superar o KNN utilizando a base de dados com 34 classes e para a base de dados com 312 classes o melhor resultado foi obtido pelas redes matching com 93,78% de acurácia. A abordagem proposta de classificação de produtos pertencentes a classes novas traz como contribuição a correta categorização e a manutenção da acurácia exigida em marketplaces, sem a necessidade do retreinamento constante dos classificadores atualmente em operação. Isso pode trazer uma redução significativa de custo de uso do servidor em nuvem e melhores experiências de compras para os clientes.E-commerce platforms (marketplaces) receive daily thousands of products belonging to new classes that have not participated in the training process of the algorithm responsible for automating the classification of products. Retraining with these new classes is a necessity, as incorrect categorization of products in marketplaces can lead consumers to unpleasant experiences in the purchase process. However, it is difficult to constantly update the system with these products, because the cost of retraining the classifiers currently in operation is high due to the large size of the databases. The proposal presented in this work is the use of product classifiers that use few-shot learning algorithms, which are capable of being trained with one or few samples per class. These have rapid training and need a small-scale database. The algorithms tested were: k-nearest neighbors (KNN), Matching Networks (MN) and DPGN (Distribution Propagation Graph Network). The proposed algorithms for product classification use characteristics previously extracted from the transfer learning process, except for encoder matching networks containing a Bi-LSTM network that received data in natural language extracted by embedding algorithms. The algorithms were tested with leave one out and k-fold cross validation. The selection of the best characteristics of the data base was also carried out, making it possible to reduce their dimension, facilitating training of neural networks with few-shot learning. Two databases were used for the tests, one containing 34 classes and 394 samples and the other containing 312 classes and 3120 samples. KNN was used as a baseline for the project and, despite its simplicity and no need for training, it presented satisfactory results. The matching and DPGN networks both presented results with 96.85% accuracy, managing to overcome the KNN using the database with 34 classes and for the database with 312 classes, the best result was obtained by matching with 93.78% accuracy. The proposed approach for classifying products belonging to new classes contributes to the correct categorization and maintenance of the accuracy required in marketplaces, without the need for constant retraining of the classifiers currently in operation. This can bring significant cost reduction of cloud server usage and better shopping experiences for customers.Omnilogic Inteligência S/AUniversidade Federal de LavrasPrograma de Pós-Graduação em Engenharia de Sistemas e AutomaçãoUFLAbrasilDepartamento de EngenhariaCiência da computaçãoComércio eletrônicoProcessamento de linguagem naturalAprendizado de máquinaRedes neurais artificiaisFew-Shot learningE-commerceNatural language processingMachine learningArtificial neural networksClassificação de produtos utilizando técnicas few-shot learningProduct classification using few-shot learning techniquesinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisBarbosa, Bruno Henrique GroennerFerreira, Danton DiegoZegarra Rodriguez, DemostenesVitor, Giovani Bernardeshttp://lattes.cnpq.br/3957294116337499Chaves, Aleson Gleik Silvainfo:eu-repo/semantics/openAccessporreponame:Repositório Institucional da UFLAinstname:Universidade Federal de Lavras (UFLA)instacron:UFLALICENSElicense.txtlicense.txttext/plain; charset=utf-8953https://repositorio.ufla.br/bitstreams/ef579552-0cda-49fc-84d1-6924e2d71680/download760884c1e72224de569e74f79eb87ce3MD51falseAnonymousREADORIGINALDISSERTAÇÃO_Classificação de produtos utilizando técnicas few-shot learning.pdfDISSERTAÇÃO_Classificação de produtos utilizando técnicas few-shot learning.pdfapplication/pdf2894685https://repositorio.ufla.br/bitstreams/09eac260-7352-41f9-a8b9-6edb32193d93/download8fcc2cb93fe090427f7c2a8a3fdab26dMD52trueAnonymousREADTEXTDISSERTAÇÃO_Classificação de produtos utilizando técnicas few-shot learning.pdf.txtDISSERTAÇÃO_Classificação de produtos utilizando técnicas few-shot learning.pdf.txtExtracted texttext/plain102687https://repositorio.ufla.br/bitstreams/e4eefaca-25f5-4469-aa96-05d7c3cab377/downloadd0a7fd04b38fda403e2d41747c98df58MD53falseAnonymousREADTHUMBNAILDISSERTAÇÃO_Classificação de produtos utilizando técnicas few-shot learning.pdf.jpgDISSERTAÇÃO_Classificação de produtos utilizando técnicas few-shot learning.pdf.jpgGenerated Thumbnailimage/jpeg3068https://repositorio.ufla.br/bitstreams/6a0e71eb-e7db-4c9f-a253-944a75c3d2fb/downloadb329104c92b6a4996d125d6982ff4c8eMD54falseAnonymousREAD1/507052025-08-19 09:41:05.176open.accessoai:repositorio.ufla.br:1/50705https://repositorio.ufla.brRepositório InstitucionalPUBhttps://repositorio.ufla.br/server/oai/requestnivaldo@ufla.br || repositorio.biblioteca@ufla.bropendoar:2025-08-19T12:41:05Repositório Institucional da UFLA - Universidade Federal de Lavras (UFLA)falseREVDTEFSQcOHw4NPIERFIERJU1RSSUJVScOHw4NPIE7Dg08tRVhDTFVTSVZBCk8gcmVmZXJpZG8gYXV0b3I6CmEpIERlY2xhcmEgcXVlIG8gZG9jdW1lbnRvIGVudHJlZ3VlIMOpIHNldSB0cmFiYWxobyBvcmlnaW5hbCwgZSBxdWUKZGV0w6ltIG8gZGlyZWl0byBkZSBjb25jZWRlciBvcyBkaXJlaXRvcyBjb250aWRvcyBuZXN0YSBsaWNlbsOnYS4KRGVjbGFyYSB0YW1iw6ltIHF1ZSBhIGVudHJlZ2EgZG8gZG9jdW1lbnRvIG7Do28gaW5mcmluZ2UsIHRhbnRvIHF1YW50bwpsaGUgw6kgcG9zc8OtdmVsIHNhYmVyLCBvcyBkaXJlaXRvcyBkZSBxdWFscXVlciBvdXRyYSBwZXNzb2Egb3UKZW50aWRhZGUuCmIpIFNlIG8gZG9jdW1lbnRvIGVudHJlZ3VlIGNvbnTDqW0gbWF0ZXJpYWwgZG8gcXVhbCBuw6NvIGRldMOpbSBvcwpkaXJlaXRvcyBkZSBhdXRvciwgZGVjbGFyYSBxdWUgb2J0ZXZlIGF1dG9yaXphw6fDo28gZG8gZGV0ZW50b3IgZG9zCmRpcmVpdG9zIGRlIGF1dG9yIHBhcmEgY29uY2VkZXIgw6AgVW5pdmVyc2lkYWRlIEZlZGVyYWwgZGUgTGF2cmFzIG9zCmRpcmVpdG9zIHJlcXVlcmlkb3MgcG9yIGVzdGEgbGljZW7Dp2EsIGUgcXVlIGVzc2UgbWF0ZXJpYWwgY3Vqb3MKZGlyZWl0b3Mgc8OjbyBkZSB0ZXJjZWlyb3MgZXN0w6EgY2xhcmFtZW50ZSBpZGVudGlmaWNhZG8gZSByZWNvbmhlY2lkbwpubyB0ZXh0byBvdSBjb250ZcO6ZG8gZG8gZG9jdW1lbnRvIGVudHJlZ3VlLiBTZSBvIGRvY3VtZW50byBlbnRyZWd1ZSDDqQpiYXNlYWRvIGVtIHRyYWJhbGhvIGZpbmFuY2lhZG8gb3UgYXBvaWFkbyBwb3Igb3V0cmEgaW5zdGl0dWnDp8OjbyBxdWUKbsOjbyBhIFVuaXZlcnNpZGFkZSBGZWRlcmFsIGRlIExhdnJhcywgZGVjbGFyYSBxdWUgY3VtcHJpdSBxdWFpc3F1ZXIKb2JyaWdhw6fDtWVzIGV4aWdpZGFzIHBlbG8gcmVzcGVjdGl2byBjb250cmF0byBvdSBhY29yZG8uCgo=
dc.title.pt_BR.fl_str_mv Classificação de produtos utilizando técnicas few-shot learning
dc.title.alternative.pt_BR.fl_str_mv Product classification using few-shot learning techniques
title Classificação de produtos utilizando técnicas few-shot learning
spellingShingle Classificação de produtos utilizando técnicas few-shot learning
Chaves, Aleson Gleik Silva
Ciência da computação
Comércio eletrônico
Processamento de linguagem natural
Aprendizado de máquina
Redes neurais artificiais
Few-Shot learning
E-commerce
Natural language processing
Machine learning
Artificial neural networks
title_short Classificação de produtos utilizando técnicas few-shot learning
title_full Classificação de produtos utilizando técnicas few-shot learning
title_fullStr Classificação de produtos utilizando técnicas few-shot learning
title_full_unstemmed Classificação de produtos utilizando técnicas few-shot learning
title_sort Classificação de produtos utilizando técnicas few-shot learning
author Chaves, Aleson Gleik Silva
author_facet Chaves, Aleson Gleik Silva
author_role author
dc.contributor.advisor1.fl_str_mv Barbosa, Bruno Henrique Groenner
dc.contributor.advisor-co1.fl_str_mv Ferreira, Danton Diego
dc.contributor.referee1.fl_str_mv Zegarra Rodriguez, Demostenes
dc.contributor.referee2.fl_str_mv Vitor, Giovani Bernardes
dc.contributor.authorLattes.fl_str_mv http://lattes.cnpq.br/3957294116337499
dc.contributor.author.fl_str_mv Chaves, Aleson Gleik Silva
contributor_str_mv Barbosa, Bruno Henrique Groenner
Ferreira, Danton Diego
Zegarra Rodriguez, Demostenes
Vitor, Giovani Bernardes
dc.subject.cnpq.fl_str_mv Ciência da computação
topic Ciência da computação
Comércio eletrônico
Processamento de linguagem natural
Aprendizado de máquina
Redes neurais artificiais
Few-Shot learning
E-commerce
Natural language processing
Machine learning
Artificial neural networks
dc.subject.por.fl_str_mv Comércio eletrônico
Processamento de linguagem natural
Aprendizado de máquina
Redes neurais artificiais
Few-Shot learning
E-commerce
Natural language processing
Machine learning
Artificial neural networks
description As plataformas de comércio eletrônico (marketplaces) recebem diariamente milhares de produtos pertencentes a classes novas que não participaram do processo de treinamento do algoritmo responsável por automatizar a classificação de produtos. O retreinamento com estas classes novas é uma necessidade, pois a categorização incorreta de produtos nos marketplaces pode levar o consumidor a experiências desagradáveis no processo de compra. Porém, é difícil a constante atualização do sistema com estes produtos, pois o custo de retreinamento dos classificadores atualmente em operação é elevado devido à grande dimensão das bases de dados. A proposta apresentada neste trabalho é a utilização de classificadores de produtos que utilizam algoritmos do tipo few-shot learning, que são capazes de serem treinados com uma ou com poucas amostras por classes. Estes possuem treinamento rápido e necessitam de base de dados em dimensão reduzida. Os algoritmos testados foram: k-vizinhos mais próximos (KNN), redes Matching Networks (MN) e as redes DPGN (Distribuition Propagation Graph Network). Os algoritmos propostos para classificação de produtos utilizam características previamente extraídas a partir do processo de transfer learning, exceto para as redes matching com encoder contendo uma rede Bi-LSTM que recebe dados em linguagem natural extraídos por algoritmos embeddings. Os algoritmos foram testados com validação cruzada do tipo leave one out e k-fold. Também foi realizada a seleção das melhores características da base, possibilitando a redução de dimensão das mesmas, facilitando treinamento das redes neurais com few-shot learning. Foram utilizadas duas bases de dados para os testes, uma contendo 34 classes e 394 amostras e outra que possui 312 classes e 3120 amostras. O KNN foi utilizado como baseline do projeto e, apesar da simplicidade e não necessidade de treinamento, apresentou resultado satisfatório. As redes matching e DPGN ambas apresentaram resultados com 96,85% de acurácia conseguindo superar o KNN utilizando a base de dados com 34 classes e para a base de dados com 312 classes o melhor resultado foi obtido pelas redes matching com 93,78% de acurácia. A abordagem proposta de classificação de produtos pertencentes a classes novas traz como contribuição a correta categorização e a manutenção da acurácia exigida em marketplaces, sem a necessidade do retreinamento constante dos classificadores atualmente em operação. Isso pode trazer uma redução significativa de custo de uso do servidor em nuvem e melhores experiências de compras para os clientes.
publishDate 2022
dc.date.submitted.none.fl_str_mv 2022-04-29
dc.date.accessioned.fl_str_mv 2022-07-25T18:02:47Z
dc.date.available.fl_str_mv 2022-07-25T18:02:47Z
dc.date.issued.fl_str_mv 2022-07-25
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv CHAVES, A. G. S. Classificação de produtos utilizando técnicas few-shot learning. 2022. 108 p. Dissertação (Mestrado em Engenharia de Sistemas e Automação) – Universidade Federal de Lavras, Lavras, 2022.
dc.identifier.uri.fl_str_mv https://repositorio.ufla.br/handle/1/50705
identifier_str_mv CHAVES, A. G. S. Classificação de produtos utilizando técnicas few-shot learning. 2022. 108 p. Dissertação (Mestrado em Engenharia de Sistemas e Automação) – Universidade Federal de Lavras, Lavras, 2022.
url https://repositorio.ufla.br/handle/1/50705
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal de Lavras
dc.publisher.program.fl_str_mv Programa de Pós-Graduação em Engenharia de Sistemas e Automação
dc.publisher.initials.fl_str_mv UFLA
dc.publisher.country.fl_str_mv brasil
dc.publisher.department.fl_str_mv Departamento de Engenharia
publisher.none.fl_str_mv Universidade Federal de Lavras
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFLA
instname:Universidade Federal de Lavras (UFLA)
instacron:UFLA
instname_str Universidade Federal de Lavras (UFLA)
instacron_str UFLA
institution UFLA
reponame_str Repositório Institucional da UFLA
collection Repositório Institucional da UFLA
bitstream.url.fl_str_mv https://repositorio.ufla.br/bitstreams/ef579552-0cda-49fc-84d1-6924e2d71680/download
https://repositorio.ufla.br/bitstreams/09eac260-7352-41f9-a8b9-6edb32193d93/download
https://repositorio.ufla.br/bitstreams/e4eefaca-25f5-4469-aa96-05d7c3cab377/download
https://repositorio.ufla.br/bitstreams/6a0e71eb-e7db-4c9f-a253-944a75c3d2fb/download
bitstream.checksum.fl_str_mv 760884c1e72224de569e74f79eb87ce3
8fcc2cb93fe090427f7c2a8a3fdab26d
d0a7fd04b38fda403e2d41747c98df58
b329104c92b6a4996d125d6982ff4c8e
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFLA - Universidade Federal de Lavras (UFLA)
repository.mail.fl_str_mv nivaldo@ufla.br || repositorio.biblioteca@ufla.br
_version_ 1854947708457975808