Processamento de linguagem natural no segmento de e-commerce: uma aplicação few shot learning com redes neurais siamesas

Detalhes bibliográficos
Ano de defesa: 2022
Autor(a) principal: Silva, Fernanda Costa e lattes
Orientador(a): Ferreira, Danton Diego
Banca de defesa: Ferreira, Danton Diego, Vitor, Giovani Bernardes, Huallpa, Belisario Nina
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Universidade Federal de Lavras
Programa de Pós-Graduação: Programa de Pós-Graduação em Engenharia de Sistemas e Automação
Departamento: Departamento de Engenharia
País: brasil
Palavras-chave em Português:
Área do conhecimento CNPq:
Link de acesso: https://repositorio.ufla.br/handle/1/49959
Resumo: O número de empresas que disponibilizam seus produtos para compra online tem aumentado, fazendo com que novas ofertas apareçam a todo momento. Entretanto, não há um padrão entre a descrição dos produtos fornecida pelos vendedores, o que pode levar um produto a ser colocado em uma categoria diferente daquela a que ele pertence e gerar uma experiência de compra ruim. As empresas que trabalham com comércio eletrônico podem utilizar o grande volume de dados gerados nas diversas transações realizadas na internet para construir perfis de usuário e fazer recomendações de produtos personalizadas. Assim sendo, soluções aplicando o processamento de linguagem natural têm o potencial de resolver problemas relacionados ao E-commerce e, também, otimizar boa parte dos processos. A linha de pesquisa abordada é de estudo e aprimo- ramento de sistemas de inteligência artificial para E-commerce. Foram analisadas e desenvol- vidas técnicas de classificação de dados não estruturados, considerando o problema enfrentado em plataformas de comércio online, já que novos produtos cadastrados podem ser classificados erroneamente enquanto suas classes ainda forem pouco representativas na base de dados. Essa é uma situação em que pode ser aplicada algoritmos de aprendizado one/few-shot learning, no qual um classificador deve aprender informações relevantes à classificação das amostras uti- lizando uma ou algumas amostras de uma classe durante seu treinamento. A quantidade de ferramentas eficientes para lidar com tal situação é limitada, pois os métodos de classificação convencionais não conseguem aprender e estabelecer relações significativas a partir de poucos dados de treinamento. Neste trabalho é proposto o uso de um classificador com redes neurais si- amesas para classificar classes novas num problema de E-commerce. Foram testadas diferentes topologias para a rede interna da rede siamesa, assim como diferentes abordagens para a escolha do representante usado como referência pela rede, sendo proposta a escolha aleatória, com cen- troide e com ensemble de representantes. O classificador proposto com escolha de representante feita com centroide obteve 98% de acurácia ao lidar com um problema de 6 classes e menos de 400 amostras. Para uma base de dados de aproximadamente 4000 amostras e 452 classes o modelo de rede siamesa com estrutura da rede interna de três camadas utilizando a técnica de DropOut em uma das camadas e o representante sendo o centroide obteve melhor resultado dentre as opções testadas, tendo 90,31% de acerto, contra 83,62% do modelo de rede siamesa com representante aleatório e 81,81% do K-Nearest Neighbors (KNN). Como trabalhos futuros podem ser estudadas estratégias para melhorar o desempenho do modelo, tais como a formação de pares de treino maximizando as diferenças entre as classes, ao invés da combinação aleatória das amostras. Além disso, podem ser desenvolvidos diferentes extratores de características para os dados das plataformas de vendas online pois um extrator que gere características com menor dimensão contribui para a redução da complexidade do classificador, o que pode levar a uma economia no uso de servidores.
id UFLA_55b84e7d4bde3f051c93b437a130faf8
oai_identifier_str oai:repositorio.ufla.br:1/49959
network_acronym_str UFLA
network_name_str Repositório Institucional da UFLA
repository_id_str
spelling 2022-05-18T20:09:30Z2022-05-18T20:09:30Z2022-05-182022-04-14SILVA, F. C. e. Processamento de linguagem natural no segmento de e-commerce: uma aplicação few shot learning com redes neurais siamesas. 2022. 112 p. Dissertação (Mestrado em Engenharia de Sistemas e Automação) - Universidade Federal de Lavras, Lavras, 2022.https://repositorio.ufla.br/handle/1/49959O número de empresas que disponibilizam seus produtos para compra online tem aumentado, fazendo com que novas ofertas apareçam a todo momento. Entretanto, não há um padrão entre a descrição dos produtos fornecida pelos vendedores, o que pode levar um produto a ser colocado em uma categoria diferente daquela a que ele pertence e gerar uma experiência de compra ruim. As empresas que trabalham com comércio eletrônico podem utilizar o grande volume de dados gerados nas diversas transações realizadas na internet para construir perfis de usuário e fazer recomendações de produtos personalizadas. Assim sendo, soluções aplicando o processamento de linguagem natural têm o potencial de resolver problemas relacionados ao E-commerce e, também, otimizar boa parte dos processos. A linha de pesquisa abordada é de estudo e aprimo- ramento de sistemas de inteligência artificial para E-commerce. Foram analisadas e desenvol- vidas técnicas de classificação de dados não estruturados, considerando o problema enfrentado em plataformas de comércio online, já que novos produtos cadastrados podem ser classificados erroneamente enquanto suas classes ainda forem pouco representativas na base de dados. Essa é uma situação em que pode ser aplicada algoritmos de aprendizado one/few-shot learning, no qual um classificador deve aprender informações relevantes à classificação das amostras uti- lizando uma ou algumas amostras de uma classe durante seu treinamento. A quantidade de ferramentas eficientes para lidar com tal situação é limitada, pois os métodos de classificação convencionais não conseguem aprender e estabelecer relações significativas a partir de poucos dados de treinamento. Neste trabalho é proposto o uso de um classificador com redes neurais si- amesas para classificar classes novas num problema de E-commerce. Foram testadas diferentes topologias para a rede interna da rede siamesa, assim como diferentes abordagens para a escolha do representante usado como referência pela rede, sendo proposta a escolha aleatória, com cen- troide e com ensemble de representantes. O classificador proposto com escolha de representante feita com centroide obteve 98% de acurácia ao lidar com um problema de 6 classes e menos de 400 amostras. Para uma base de dados de aproximadamente 4000 amostras e 452 classes o modelo de rede siamesa com estrutura da rede interna de três camadas utilizando a técnica de DropOut em uma das camadas e o representante sendo o centroide obteve melhor resultado dentre as opções testadas, tendo 90,31% de acerto, contra 83,62% do modelo de rede siamesa com representante aleatório e 81,81% do K-Nearest Neighbors (KNN). Como trabalhos futuros podem ser estudadas estratégias para melhorar o desempenho do modelo, tais como a formação de pares de treino maximizando as diferenças entre as classes, ao invés da combinação aleatória das amostras. Além disso, podem ser desenvolvidos diferentes extratores de características para os dados das plataformas de vendas online pois um extrator que gere características com menor dimensão contribui para a redução da complexidade do classificador, o que pode levar a uma economia no uso de servidores.The number of companies making their products available for purchase online has increased, causing new offers to appear all the time. However, there is no pattern between the description of products provided by sellers, which can lead to a product being placed in a different cate- gory from the one to which it belongs and generating a poor shopping experience. E-commerce companies can use the large volume of data generated in the various transactions carried out on the Internet to build user profiles and make personalized product recommendations. Therefore, solutions applying natural language processing have the potential to solve problems related to E-commerce and also to optimize a good part of the processes. The issue addressed in this project is the study and improvement of artificial intelligence systems for E-commerce. Uns- tructured data classification techniques were analyzed and developed, considering the problem faced in online commerce platforms, since new registered products can be misclassified, while their classes are still unrepresentative in the database. This is a situation where one/few-shot learning algorithms can be applied, in which a classifier must learn information relevant to the classification of samples using one or a few samples of a class during its training. The amount of efficient tools to deal with such a situation is limited, as conventional classification methods cannot learn and establish meaningful relationships from a few training data. In this work, it is proposed to use a classifier with Siamese neural networks to classify new classes in an E- commerce problem. Different topologies were tested for the internal network of the Siamese network, as well as different approaches for choosing the representative sample used as a re- ference for each class, being proposed the random choice, with centroid and with ensemble of representatives. The proposed classifier with representative choice made with the centroid calculation obtained 98% accuracy when dealing with a problem of 6 classes and less than 400 samples. For a larger database, with approximately 4000 samples and 452 classes, the model with a three-layer internal network structure using the DropOut technique in one of the layers and the representative being the calculated centroid the Siamese network obtained the best re- sult among the tested options, with 90.31% of correct answers, against 83.62% of the random representative sample and 81.81% using the K-Nearest Neighbors (KNN) algorithm. as future works, strategies can be studied to improve the performance of the model, such as the formation of training pairs that maximize the differences between classes, instead of randomly combining samples. Different feature extractors for data from online sales platforms can also be developed, since an extractor that delivers features with a smaller dimension contributes to the reduction of the classifier’s complexity, which can result in savings in server usage.Universidade Federal de LavrasPrograma de Pós-Graduação em Engenharia de Sistemas e AutomaçãoUFLAbrasilDepartamento de EngenhariaCiência da ComputaçãoMineração de dadosOne shot learningRedes neurais siamesasProcessamento de linguagem naturalAprendizado de máquinaE-commerceData miningSiamese neural networksNatural language processingMachine learningExtração de característicasFeature extractionProcessamento de linguagem natural no segmento de e-commerce: uma aplicação few shot learning com redes neurais siamesasinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisFerreira, Danton DiegoBarbosa, Bruno Henrique GroennerFerreira, Danton DiegoVitor, Giovani BernardesHuallpa, Belisario Ninahttp://lattes.cnpq.br/9380586467450481Silva, Fernanda Costa einfo:eu-repo/semantics/openAccessporreponame:Repositório Institucional da UFLAinstname:Universidade Federal de Lavras (UFLA)instacron:UFLALICENSElicense.txtlicense.txttext/plain; charset=utf-8953https://repositorio.ufla.br/bitstreams/41c02a18-0f83-4993-86a4-2a349f204a41/download760884c1e72224de569e74f79eb87ce3MD51falseAnonymousREADORIGINALDISSERTAÇÃO_Processamento de linguagem natural no segmento de e-commerce: uma aplicação few shot learning com redes neurais siamesas.pdfDISSERTAÇÃO_Processamento de linguagem natural no segmento de e-commerce: uma aplicação few shot learning com redes neurais siamesas.pdfapplication/pdf4499544https://repositorio.ufla.br/bitstreams/4c3a321b-c468-4ad4-b712-c19ba485da73/downloada22cd2c9336443a591a019ee67bc7bb7MD52trueAnonymousREADTEXTDISSERTAÇÃO_Processamento de linguagem natural no segmento de e-commerce: uma aplicação few shot learning com redes neurais siamesas.pdf.txtDISSERTAÇÃO_Processamento de linguagem natural no segmento de e-commerce: uma aplicação few shot learning com redes neurais siamesas.pdf.txtExtracted texttext/plain102719https://repositorio.ufla.br/bitstreams/0567f55b-bb10-4ba4-b1c7-d197ac48d80d/download8e615bd22181f1dc14dbb8a49a5ece1aMD53falseAnonymousREADTHUMBNAILDISSERTAÇÃO_Processamento de linguagem natural no segmento de e-commerce: uma aplicação few shot learning com redes neurais siamesas.pdf.jpgDISSERTAÇÃO_Processamento de linguagem natural no segmento de e-commerce: uma aplicação few shot learning com redes neurais siamesas.pdf.jpgGenerated Thumbnailimage/jpeg3268https://repositorio.ufla.br/bitstreams/a2c09c3c-e73b-42d2-88f4-756b4072b871/download3227c9b929b56778d84a653ca493851aMD54falseAnonymousREAD1/499592025-08-19 09:42:37.239open.accessoai:repositorio.ufla.br:1/49959https://repositorio.ufla.brRepositório InstitucionalPUBhttps://repositorio.ufla.br/server/oai/requestnivaldo@ufla.br || repositorio.biblioteca@ufla.bropendoar:2025-08-19T12:42:37Repositório Institucional da UFLA - Universidade Federal de Lavras (UFLA)falseREVDTEFSQcOHw4NPIERFIERJU1RSSUJVScOHw4NPIE7Dg08tRVhDTFVTSVZBCk8gcmVmZXJpZG8gYXV0b3I6CmEpIERlY2xhcmEgcXVlIG8gZG9jdW1lbnRvIGVudHJlZ3VlIMOpIHNldSB0cmFiYWxobyBvcmlnaW5hbCwgZSBxdWUKZGV0w6ltIG8gZGlyZWl0byBkZSBjb25jZWRlciBvcyBkaXJlaXRvcyBjb250aWRvcyBuZXN0YSBsaWNlbsOnYS4KRGVjbGFyYSB0YW1iw6ltIHF1ZSBhIGVudHJlZ2EgZG8gZG9jdW1lbnRvIG7Do28gaW5mcmluZ2UsIHRhbnRvIHF1YW50bwpsaGUgw6kgcG9zc8OtdmVsIHNhYmVyLCBvcyBkaXJlaXRvcyBkZSBxdWFscXVlciBvdXRyYSBwZXNzb2Egb3UKZW50aWRhZGUuCmIpIFNlIG8gZG9jdW1lbnRvIGVudHJlZ3VlIGNvbnTDqW0gbWF0ZXJpYWwgZG8gcXVhbCBuw6NvIGRldMOpbSBvcwpkaXJlaXRvcyBkZSBhdXRvciwgZGVjbGFyYSBxdWUgb2J0ZXZlIGF1dG9yaXphw6fDo28gZG8gZGV0ZW50b3IgZG9zCmRpcmVpdG9zIGRlIGF1dG9yIHBhcmEgY29uY2VkZXIgw6AgVW5pdmVyc2lkYWRlIEZlZGVyYWwgZGUgTGF2cmFzIG9zCmRpcmVpdG9zIHJlcXVlcmlkb3MgcG9yIGVzdGEgbGljZW7Dp2EsIGUgcXVlIGVzc2UgbWF0ZXJpYWwgY3Vqb3MKZGlyZWl0b3Mgc8OjbyBkZSB0ZXJjZWlyb3MgZXN0w6EgY2xhcmFtZW50ZSBpZGVudGlmaWNhZG8gZSByZWNvbmhlY2lkbwpubyB0ZXh0byBvdSBjb250ZcO6ZG8gZG8gZG9jdW1lbnRvIGVudHJlZ3VlLiBTZSBvIGRvY3VtZW50byBlbnRyZWd1ZSDDqQpiYXNlYWRvIGVtIHRyYWJhbGhvIGZpbmFuY2lhZG8gb3UgYXBvaWFkbyBwb3Igb3V0cmEgaW5zdGl0dWnDp8OjbyBxdWUKbsOjbyBhIFVuaXZlcnNpZGFkZSBGZWRlcmFsIGRlIExhdnJhcywgZGVjbGFyYSBxdWUgY3VtcHJpdSBxdWFpc3F1ZXIKb2JyaWdhw6fDtWVzIGV4aWdpZGFzIHBlbG8gcmVzcGVjdGl2byBjb250cmF0byBvdSBhY29yZG8uCgo=
dc.title.pt_BR.fl_str_mv Processamento de linguagem natural no segmento de e-commerce: uma aplicação few shot learning com redes neurais siamesas
title Processamento de linguagem natural no segmento de e-commerce: uma aplicação few shot learning com redes neurais siamesas
spellingShingle Processamento de linguagem natural no segmento de e-commerce: uma aplicação few shot learning com redes neurais siamesas
Silva, Fernanda Costa e
Ciência da Computação
Mineração de dados
One shot learning
Redes neurais siamesas
Processamento de linguagem natural
Aprendizado de máquina
E-commerce
Data mining
Siamese neural networks
Natural language processing
Machine learning
Extração de características
Feature extraction
title_short Processamento de linguagem natural no segmento de e-commerce: uma aplicação few shot learning com redes neurais siamesas
title_full Processamento de linguagem natural no segmento de e-commerce: uma aplicação few shot learning com redes neurais siamesas
title_fullStr Processamento de linguagem natural no segmento de e-commerce: uma aplicação few shot learning com redes neurais siamesas
title_full_unstemmed Processamento de linguagem natural no segmento de e-commerce: uma aplicação few shot learning com redes neurais siamesas
title_sort Processamento de linguagem natural no segmento de e-commerce: uma aplicação few shot learning com redes neurais siamesas
author Silva, Fernanda Costa e
author_facet Silva, Fernanda Costa e
author_role author
dc.contributor.advisor1.fl_str_mv Ferreira, Danton Diego
dc.contributor.advisor-co1.fl_str_mv Barbosa, Bruno Henrique Groenner
dc.contributor.referee1.fl_str_mv Ferreira, Danton Diego
dc.contributor.referee2.fl_str_mv Vitor, Giovani Bernardes
dc.contributor.referee3.fl_str_mv Huallpa, Belisario Nina
dc.contributor.authorLattes.fl_str_mv http://lattes.cnpq.br/9380586467450481
dc.contributor.author.fl_str_mv Silva, Fernanda Costa e
contributor_str_mv Ferreira, Danton Diego
Barbosa, Bruno Henrique Groenner
Ferreira, Danton Diego
Vitor, Giovani Bernardes
Huallpa, Belisario Nina
dc.subject.cnpq.fl_str_mv Ciência da Computação
topic Ciência da Computação
Mineração de dados
One shot learning
Redes neurais siamesas
Processamento de linguagem natural
Aprendizado de máquina
E-commerce
Data mining
Siamese neural networks
Natural language processing
Machine learning
Extração de características
Feature extraction
dc.subject.por.fl_str_mv Mineração de dados
One shot learning
Redes neurais siamesas
Processamento de linguagem natural
Aprendizado de máquina
E-commerce
Data mining
Siamese neural networks
Natural language processing
Machine learning
Extração de características
Feature extraction
description O número de empresas que disponibilizam seus produtos para compra online tem aumentado, fazendo com que novas ofertas apareçam a todo momento. Entretanto, não há um padrão entre a descrição dos produtos fornecida pelos vendedores, o que pode levar um produto a ser colocado em uma categoria diferente daquela a que ele pertence e gerar uma experiência de compra ruim. As empresas que trabalham com comércio eletrônico podem utilizar o grande volume de dados gerados nas diversas transações realizadas na internet para construir perfis de usuário e fazer recomendações de produtos personalizadas. Assim sendo, soluções aplicando o processamento de linguagem natural têm o potencial de resolver problemas relacionados ao E-commerce e, também, otimizar boa parte dos processos. A linha de pesquisa abordada é de estudo e aprimo- ramento de sistemas de inteligência artificial para E-commerce. Foram analisadas e desenvol- vidas técnicas de classificação de dados não estruturados, considerando o problema enfrentado em plataformas de comércio online, já que novos produtos cadastrados podem ser classificados erroneamente enquanto suas classes ainda forem pouco representativas na base de dados. Essa é uma situação em que pode ser aplicada algoritmos de aprendizado one/few-shot learning, no qual um classificador deve aprender informações relevantes à classificação das amostras uti- lizando uma ou algumas amostras de uma classe durante seu treinamento. A quantidade de ferramentas eficientes para lidar com tal situação é limitada, pois os métodos de classificação convencionais não conseguem aprender e estabelecer relações significativas a partir de poucos dados de treinamento. Neste trabalho é proposto o uso de um classificador com redes neurais si- amesas para classificar classes novas num problema de E-commerce. Foram testadas diferentes topologias para a rede interna da rede siamesa, assim como diferentes abordagens para a escolha do representante usado como referência pela rede, sendo proposta a escolha aleatória, com cen- troide e com ensemble de representantes. O classificador proposto com escolha de representante feita com centroide obteve 98% de acurácia ao lidar com um problema de 6 classes e menos de 400 amostras. Para uma base de dados de aproximadamente 4000 amostras e 452 classes o modelo de rede siamesa com estrutura da rede interna de três camadas utilizando a técnica de DropOut em uma das camadas e o representante sendo o centroide obteve melhor resultado dentre as opções testadas, tendo 90,31% de acerto, contra 83,62% do modelo de rede siamesa com representante aleatório e 81,81% do K-Nearest Neighbors (KNN). Como trabalhos futuros podem ser estudadas estratégias para melhorar o desempenho do modelo, tais como a formação de pares de treino maximizando as diferenças entre as classes, ao invés da combinação aleatória das amostras. Além disso, podem ser desenvolvidos diferentes extratores de características para os dados das plataformas de vendas online pois um extrator que gere características com menor dimensão contribui para a redução da complexidade do classificador, o que pode levar a uma economia no uso de servidores.
publishDate 2022
dc.date.submitted.none.fl_str_mv 2022-04-14
dc.date.accessioned.fl_str_mv 2022-05-18T20:09:30Z
dc.date.available.fl_str_mv 2022-05-18T20:09:30Z
dc.date.issued.fl_str_mv 2022-05-18
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv SILVA, F. C. e. Processamento de linguagem natural no segmento de e-commerce: uma aplicação few shot learning com redes neurais siamesas. 2022. 112 p. Dissertação (Mestrado em Engenharia de Sistemas e Automação) - Universidade Federal de Lavras, Lavras, 2022.
dc.identifier.uri.fl_str_mv https://repositorio.ufla.br/handle/1/49959
identifier_str_mv SILVA, F. C. e. Processamento de linguagem natural no segmento de e-commerce: uma aplicação few shot learning com redes neurais siamesas. 2022. 112 p. Dissertação (Mestrado em Engenharia de Sistemas e Automação) - Universidade Federal de Lavras, Lavras, 2022.
url https://repositorio.ufla.br/handle/1/49959
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal de Lavras
dc.publisher.program.fl_str_mv Programa de Pós-Graduação em Engenharia de Sistemas e Automação
dc.publisher.initials.fl_str_mv UFLA
dc.publisher.country.fl_str_mv brasil
dc.publisher.department.fl_str_mv Departamento de Engenharia
publisher.none.fl_str_mv Universidade Federal de Lavras
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFLA
instname:Universidade Federal de Lavras (UFLA)
instacron:UFLA
instname_str Universidade Federal de Lavras (UFLA)
instacron_str UFLA
institution UFLA
reponame_str Repositório Institucional da UFLA
collection Repositório Institucional da UFLA
bitstream.url.fl_str_mv https://repositorio.ufla.br/bitstreams/41c02a18-0f83-4993-86a4-2a349f204a41/download
https://repositorio.ufla.br/bitstreams/4c3a321b-c468-4ad4-b712-c19ba485da73/download
https://repositorio.ufla.br/bitstreams/0567f55b-bb10-4ba4-b1c7-d197ac48d80d/download
https://repositorio.ufla.br/bitstreams/a2c09c3c-e73b-42d2-88f4-756b4072b871/download
bitstream.checksum.fl_str_mv 760884c1e72224de569e74f79eb87ce3
a22cd2c9336443a591a019ee67bc7bb7
8e615bd22181f1dc14dbb8a49a5ece1a
3227c9b929b56778d84a653ca493851a
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFLA - Universidade Federal de Lavras (UFLA)
repository.mail.fl_str_mv nivaldo@ufla.br || repositorio.biblioteca@ufla.br
_version_ 1854947836602351616