An investigation of pre-training approaches for matrix factorization-based recommender systems.

Detalhes bibliográficos
Ano de defesa: 2024
Autor(a) principal: COSTA, Júlio Barreto Guedes da. lattes
Orientador(a): MARINHO, Leandro Balby. lattes
Banca de defesa: CAMPELO, Cláudio elízio calazans., MANZATO, Marcelo garcia.
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Universidade Federal de Campina Grande
Programa de Pós-Graduação: PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO
Departamento: Centro de Engenharia Elétrica e Informática - CEEI
País: Brasil
Palavras-chave em Português:
Área do conhecimento CNPq:
Link de acesso: https://dspace.sti.ufcg.edu.br/handle/riufcg/41050
Resumo: Sistemas de Recomendação (RSs, Recommender Systems) consistuem um campo de pesquisa e aplicação cujo objetivo é recuperar itens relevantes dado o histórico de inter esses anteriores de um usuário. Desde o desafio aberto proposto pela Netflix para melhoria de performance em recomendação de filmes (Netflix Prize), RSs utilizam fatores latentes, ou embeddings, inicializados aleatoriamente e atualizados durante as etapas de treinamento, comorepresentação para ambos usuários e itens. Observando o grande campo da Aprendiza gem deMáquina (ML, Machine Learning), diferentes áreas de aplicação obtiveram melhoria de performance através da transferência de aprendizagem (Transfer Learning), à exemplo da grande evolução obtida nas tarefas relacionadas à Visão Computacional (CV, Computer Vision) após a introdução de modelos como VGG e AlexNet, mas também muito presente em tarefas do campo de Processamento de Linguagem Natural (NLP, Natural Language Pro cessing), especialmente com a popularização dos Grandes Modelos de Linguagem (LLMs, Large Language Models) como as famílias de modelos BERT e, mais popular recentemente, GPT. Diferente das outras áreas de aplicação, entretanto, Transfer Learning em RSs não é trivial, visto que as entidades geralmente se restringem à usuários e itens, enquanto em CV, as entidades são imagens e, em NLP, são palavras. O objetivo desta pesquisa é, portanto, estudar possíveis aplicações de Transfer Learning em modelos de recomendação, avaliando como diferentes inicializações impactam a performance preditiva de um modelo, através de técnicas de não-supervisionadas, auto-supervisionadas, e supervisionadas.
id UFCG_208f2d070e0a5cedaece86ece860392e
oai_identifier_str oai:dspace.sti.ufcg.edu.br:riufcg/41050
network_acronym_str UFCG
network_name_str Biblioteca Digital de Teses e Dissertações da UFCG
repository_id_str
spelling MARINHO, Leandro Balby.MARINHO, L. B.http://lattes.cnpq.br/3728312501032061CAMPELO, Cláudio elízio calazans.MANZATO, Marcelo garcia.COSTA, J. B. G.http://lattes.cnpq.br/5304058030766012COSTA, Júlio Barreto Guedes da.Sistemas de Recomendação (RSs, Recommender Systems) consistuem um campo de pesquisa e aplicação cujo objetivo é recuperar itens relevantes dado o histórico de inter esses anteriores de um usuário. Desde o desafio aberto proposto pela Netflix para melhoria de performance em recomendação de filmes (Netflix Prize), RSs utilizam fatores latentes, ou embeddings, inicializados aleatoriamente e atualizados durante as etapas de treinamento, comorepresentação para ambos usuários e itens. Observando o grande campo da Aprendiza gem deMáquina (ML, Machine Learning), diferentes áreas de aplicação obtiveram melhoria de performance através da transferência de aprendizagem (Transfer Learning), à exemplo da grande evolução obtida nas tarefas relacionadas à Visão Computacional (CV, Computer Vision) após a introdução de modelos como VGG e AlexNet, mas também muito presente em tarefas do campo de Processamento de Linguagem Natural (NLP, Natural Language Pro cessing), especialmente com a popularização dos Grandes Modelos de Linguagem (LLMs, Large Language Models) como as famílias de modelos BERT e, mais popular recentemente, GPT. Diferente das outras áreas de aplicação, entretanto, Transfer Learning em RSs não é trivial, visto que as entidades geralmente se restringem à usuários e itens, enquanto em CV, as entidades são imagens e, em NLP, são palavras. O objetivo desta pesquisa é, portanto, estudar possíveis aplicações de Transfer Learning em modelos de recomendação, avaliando como diferentes inicializações impactam a performance preditiva de um modelo, através de técnicas de não-supervisionadas, auto-supervisionadas, e supervisionadas.Recommender Systems (RSs) consist of a field of research and application with the goal of retrieving relevant items for a user. Since the open Netflix Prize challenge for performance improvement in RSs, they have constantly been built by representing users and items as latent factors, more commonly known as embeddings, which are often randomly initialized and updated during the training stages. When looking at the greater Machine Learning (ML) area, different areas of application obtained performance improvement through Transfer Learning, such as the boost obtained in the Computer Vision (CV) tasks after the proposal of models like VGG or AlexNet, or the one achieved in Natural Language Processing (NLP) tasks, especially after the popularization of Large Language Models (LLMs) such as the BERT and, more recently, the GPT model families. Unlike other application areas, however, Transfer Learning for RSs is not trivial since users and items are the entities, while in CV and NLP, the entities are images and words, respectively. This research aims to study possible applications of Transfer Learning for RSs, evaluating how unsupervised, self-supervised, and supervised embedding initialization impact the predictive performance of the models.Submitted by Michelle Lima (michelle.lima@ufcg.edu.br) on 2025-03-14T12:38:25Z No. of bitstreams: 1 JÚLIO BARRETO GUEDES DA COSTA - DISSERTAÇÃO (PPGCC) 2024.pdf: 5234890 bytes, checksum: 8fffa7fa7706e4a60b164793277d32dc (MD5)Made available in DSpace on 2025-03-14T12:38:25Z (GMT). No. of bitstreams: 1 JÚLIO BARRETO GUEDES DA COSTA - DISSERTAÇÃO (PPGCC) 2024.pdf: 5234890 bytes, checksum: 8fffa7fa7706e4a60b164793277d32dc (MD5) Previous issue date: 2024-04-05Universidade Federal de Campina GrandePÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃOUFCGBrasilCentro de Engenharia Elétrica e Informática - CEEIComputação.Informática.Aprendizagem de máquinaSistemas de recomendaçãoTransferência de aprendizadoMachine learningRecommender systemsTransfer learningAn investigation of pre-training approaches for matrix factorization-based recommender systems.Uma investigação de abordagens de pré-treinamento para sistemas de recomendação baseados em fatoração de matrizes.2024-04-052025-03-14T12:38:25Z2025-03-142025-03-14T12:38:25Zhttps://dspace.sti.ufcg.edu.br/handle/riufcg/41050COSTA, Júlio Barreto Guedes da. An investigation of pre-training approaches for matrix factorization-based recommender systems. 2025. 92 f. Dissertação (Mestrado em Ciência da Computação) – Programa de Pós-Graduação em Computação, Centro de Engenharia Elétrica e Informática, Universidade Federal de Campina Grande, Paraíba, Brasil, 2024.info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisporinfo:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da UFCGinstname:Universidade Federal de Campina Grande (UFCG)instacron:UFCGTEXTJÚLIO BARRETO GUEDES DA COSTA - DISSERTAÇÃO (PPGCC) 2024.pdf.txtJÚLIO BARRETO GUEDES DA COSTA - DISSERTAÇÃO (PPGCC) 2024.pdf.txttext/plain145364https://dspace.sti.ufcg.edu.br/bitstream/riufcg/41050/3/J%C3%9ALIO+BARRETO+GUEDES+DA+COSTA+-+DISSERTA%C3%87%C3%83O+%28PPGCC%29+2024.pdf.txtcc2c14a39d876f6cf1748765f10209f9MD53LICENSElicense.txtlicense.txttext/plain; charset=utf-81748https://dspace.sti.ufcg.edu.br/bitstream/riufcg/41050/2/license.txt8a4605be74aa9ea9d79846c1fba20a33MD52ORIGINALJÚLIO BARRETO GUEDES DA COSTA - DISSERTAÇÃO (PPGCC) 2024.pdfJÚLIO BARRETO GUEDES DA COSTA - DISSERTAÇÃO (PPGCC) 2024.pdfapplication/pdf5234890https://dspace.sti.ufcg.edu.br/bitstream/riufcg/41050/1/J%C3%9ALIO+BARRETO+GUEDES+DA+COSTA+-+DISSERTA%C3%87%C3%83O+%28PPGCC%29+2024.pdf8fffa7fa7706e4a60b164793277d32dcMD51riufcg/410502025-11-18 04:17:20.3oai:dspace.sti.ufcg.edu.br:riufcg/41050Tk9URTogUExBQ0UgWU9VUiBPV04gTElDRU5TRSBIRVJFClRoaXMgc2FtcGxlIGxpY2Vuc2UgaXMgcHJvdmlkZWQgZm9yIGluZm9ybWF0aW9uYWwgcHVycG9zZXMgb25seS4KCk5PTi1FWENMVVNJVkUgRElTVFJJQlVUSU9OIExJQ0VOU0UKCkJ5IHNpZ25pbmcgYW5kIHN1Ym1pdHRpbmcgdGhpcyBsaWNlbnNlLCB5b3UgKHRoZSBhdXRob3Iocykgb3IgY29weXJpZ2h0Cm93bmVyKSBncmFudHMgdG8gRFNwYWNlIFVuaXZlcnNpdHkgKERTVSkgdGhlIG5vbi1leGNsdXNpdmUgcmlnaHQgdG8gcmVwcm9kdWNlLAp0cmFuc2xhdGUgKGFzIGRlZmluZWQgYmVsb3cpLCBhbmQvb3IgZGlzdHJpYnV0ZSB5b3VyIHN1Ym1pc3Npb24gKGluY2x1ZGluZwp0aGUgYWJzdHJhY3QpIHdvcmxkd2lkZSBpbiBwcmludCBhbmQgZWxlY3Ryb25pYyBmb3JtYXQgYW5kIGluIGFueSBtZWRpdW0sCmluY2x1ZGluZyBidXQgbm90IGxpbWl0ZWQgdG8gYXVkaW8gb3IgdmlkZW8uCgpZb3UgYWdyZWUgdGhhdCBEU1UgbWF5LCB3aXRob3V0IGNoYW5naW5nIHRoZSBjb250ZW50LCB0cmFuc2xhdGUgdGhlCnN1Ym1pc3Npb24gdG8gYW55IG1lZGl1bSBvciBmb3JtYXQgZm9yIHRoZSBwdXJwb3NlIG9mIHByZXNlcnZhdGlvbi4KCllvdSBhbHNvIGFncmVlIHRoYXQgRFNVIG1heSBrZWVwIG1vcmUgdGhhbiBvbmUgY29weSBvZiB0aGlzIHN1Ym1pc3Npb24gZm9yCnB1cnBvc2VzIG9mIHNlY3VyaXR5LCBiYWNrLXVwIGFuZCBwcmVzZXJ2YXRpb24uCgpZb3UgcmVwcmVzZW50IHRoYXQgdGhlIHN1Ym1pc3Npb24gaXMgeW91ciBvcmlnaW5hbCB3b3JrLCBhbmQgdGhhdCB5b3UgaGF2ZQp0aGUgcmlnaHQgdG8gZ3JhbnQgdGhlIHJpZ2h0cyBjb250YWluZWQgaW4gdGhpcyBsaWNlbnNlLiBZb3UgYWxzbyByZXByZXNlbnQKdGhhdCB5b3VyIHN1Ym1pc3Npb24gZG9lcyBub3QsIHRvIHRoZSBiZXN0IG9mIHlvdXIga25vd2xlZGdlLCBpbmZyaW5nZSB1cG9uCmFueW9uZSdzIGNvcHlyaWdodC4KCklmIHRoZSBzdWJtaXNzaW9uIGNvbnRhaW5zIG1hdGVyaWFsIGZvciB3aGljaCB5b3UgZG8gbm90IGhvbGQgY29weXJpZ2h0LAp5b3UgcmVwcmVzZW50IHRoYXQgeW91IGhhdmUgb2J0YWluZWQgdGhlIHVucmVzdHJpY3RlZCBwZXJtaXNzaW9uIG9mIHRoZQpjb3B5cmlnaHQgb3duZXIgdG8gZ3JhbnQgRFNVIHRoZSByaWdodHMgcmVxdWlyZWQgYnkgdGhpcyBsaWNlbnNlLCBhbmQgdGhhdApzdWNoIHRoaXJkLXBhcnR5IG93bmVkIG1hdGVyaWFsIGlzIGNsZWFybHkgaWRlbnRpZmllZCBhbmQgYWNrbm93bGVkZ2VkCndpdGhpbiB0aGUgdGV4dCBvciBjb250ZW50IG9mIHRoZSBzdWJtaXNzaW9uLgoKSUYgVEhFIFNVQk1JU1NJT04gSVMgQkFTRUQgVVBPTiBXT1JLIFRIQVQgSEFTIEJFRU4gU1BPTlNPUkVEIE9SIFNVUFBPUlRFRApCWSBBTiBBR0VOQ1kgT1IgT1JHQU5JWkFUSU9OIE9USEVSIFRIQU4gRFNVLCBZT1UgUkVQUkVTRU5UIFRIQVQgWU9VIEhBVkUKRlVMRklMTEVEIEFOWSBSSUdIVCBPRiBSRVZJRVcgT1IgT1RIRVIgT0JMSUdBVElPTlMgUkVRVUlSRUQgQlkgU1VDSApDT05UUkFDVCBPUiBBR1JFRU1FTlQuCgpEU1Ugd2lsbCBjbGVhcmx5IGlkZW50aWZ5IHlvdXIgbmFtZShzKSBhcyB0aGUgYXV0aG9yKHMpIG9yIG93bmVyKHMpIG9mIHRoZQpzdWJtaXNzaW9uLCBhbmQgd2lsbCBub3QgbWFrZSBhbnkgYWx0ZXJhdGlvbiwgb3RoZXIgdGhhbiBhcyBhbGxvd2VkIGJ5IHRoaXMKbGljZW5zZSwgdG8geW91ciBzdWJtaXNzaW9uLgo=Biblioteca Digital de Teses e Dissertaçõeshttp://bdtd.ufcg.edu.br/PUBhttp://dspace.sti.ufcg.edu.br:8080/oai/requestbdtd@setor.ufcg.edu.br || bdtd@setor.ufcg.edu.bropendoar:48512025-11-18T07:17:20Biblioteca Digital de Teses e Dissertações da UFCG - Universidade Federal de Campina Grande (UFCG)false
dc.title.pt_BR.fl_str_mv An investigation of pre-training approaches for matrix factorization-based recommender systems.
dc.title.alternative.pt_BR.fl_str_mv Uma investigação de abordagens de pré-treinamento para sistemas de recomendação baseados em fatoração de matrizes.
title An investigation of pre-training approaches for matrix factorization-based recommender systems.
spellingShingle An investigation of pre-training approaches for matrix factorization-based recommender systems.
COSTA, Júlio Barreto Guedes da.
Computação.
Informática.
Aprendizagem de máquina
Sistemas de recomendação
Transferência de aprendizado
Machine learning
Recommender systems
Transfer learning
title_short An investigation of pre-training approaches for matrix factorization-based recommender systems.
title_full An investigation of pre-training approaches for matrix factorization-based recommender systems.
title_fullStr An investigation of pre-training approaches for matrix factorization-based recommender systems.
title_full_unstemmed An investigation of pre-training approaches for matrix factorization-based recommender systems.
title_sort An investigation of pre-training approaches for matrix factorization-based recommender systems.
author COSTA, Júlio Barreto Guedes da.
author_facet COSTA, Júlio Barreto Guedes da.
author_role author
dc.contributor.advisor1.fl_str_mv MARINHO, Leandro Balby.
dc.contributor.advisor1ID.fl_str_mv MARINHO, L. B.
dc.contributor.advisor1Lattes.fl_str_mv http://lattes.cnpq.br/3728312501032061
dc.contributor.referee1.fl_str_mv CAMPELO, Cláudio elízio calazans.
dc.contributor.referee2.fl_str_mv MANZATO, Marcelo garcia.
dc.contributor.authorID.fl_str_mv COSTA, J. B. G.
dc.contributor.authorLattes.fl_str_mv http://lattes.cnpq.br/5304058030766012
dc.contributor.author.fl_str_mv COSTA, Júlio Barreto Guedes da.
contributor_str_mv MARINHO, Leandro Balby.
CAMPELO, Cláudio elízio calazans.
MANZATO, Marcelo garcia.
dc.subject.cnpq.fl_str_mv Computação.
Informática.
topic Computação.
Informática.
Aprendizagem de máquina
Sistemas de recomendação
Transferência de aprendizado
Machine learning
Recommender systems
Transfer learning
dc.subject.por.fl_str_mv Aprendizagem de máquina
Sistemas de recomendação
Transferência de aprendizado
Machine learning
Recommender systems
Transfer learning
description Sistemas de Recomendação (RSs, Recommender Systems) consistuem um campo de pesquisa e aplicação cujo objetivo é recuperar itens relevantes dado o histórico de inter esses anteriores de um usuário. Desde o desafio aberto proposto pela Netflix para melhoria de performance em recomendação de filmes (Netflix Prize), RSs utilizam fatores latentes, ou embeddings, inicializados aleatoriamente e atualizados durante as etapas de treinamento, comorepresentação para ambos usuários e itens. Observando o grande campo da Aprendiza gem deMáquina (ML, Machine Learning), diferentes áreas de aplicação obtiveram melhoria de performance através da transferência de aprendizagem (Transfer Learning), à exemplo da grande evolução obtida nas tarefas relacionadas à Visão Computacional (CV, Computer Vision) após a introdução de modelos como VGG e AlexNet, mas também muito presente em tarefas do campo de Processamento de Linguagem Natural (NLP, Natural Language Pro cessing), especialmente com a popularização dos Grandes Modelos de Linguagem (LLMs, Large Language Models) como as famílias de modelos BERT e, mais popular recentemente, GPT. Diferente das outras áreas de aplicação, entretanto, Transfer Learning em RSs não é trivial, visto que as entidades geralmente se restringem à usuários e itens, enquanto em CV, as entidades são imagens e, em NLP, são palavras. O objetivo desta pesquisa é, portanto, estudar possíveis aplicações de Transfer Learning em modelos de recomendação, avaliando como diferentes inicializações impactam a performance preditiva de um modelo, através de técnicas de não-supervisionadas, auto-supervisionadas, e supervisionadas.
publishDate 2024
dc.date.issued.fl_str_mv 2024-04-05
dc.date.accessioned.fl_str_mv 2025-03-14T12:38:25Z
dc.date.available.fl_str_mv 2025-03-14
2025-03-14T12:38:25Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://dspace.sti.ufcg.edu.br/handle/riufcg/41050
dc.identifier.citation.fl_str_mv COSTA, Júlio Barreto Guedes da. An investigation of pre-training approaches for matrix factorization-based recommender systems. 2025. 92 f. Dissertação (Mestrado em Ciência da Computação) – Programa de Pós-Graduação em Computação, Centro de Engenharia Elétrica e Informática, Universidade Federal de Campina Grande, Paraíba, Brasil, 2024.
url https://dspace.sti.ufcg.edu.br/handle/riufcg/41050
identifier_str_mv COSTA, Júlio Barreto Guedes da. An investigation of pre-training approaches for matrix factorization-based recommender systems. 2025. 92 f. Dissertação (Mestrado em Ciência da Computação) – Programa de Pós-Graduação em Computação, Centro de Engenharia Elétrica e Informática, Universidade Federal de Campina Grande, Paraíba, Brasil, 2024.
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal de Campina Grande
dc.publisher.program.fl_str_mv PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO
dc.publisher.initials.fl_str_mv UFCG
dc.publisher.country.fl_str_mv Brasil
dc.publisher.department.fl_str_mv Centro de Engenharia Elétrica e Informática - CEEI
publisher.none.fl_str_mv Universidade Federal de Campina Grande
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações da UFCG
instname:Universidade Federal de Campina Grande (UFCG)
instacron:UFCG
instname_str Universidade Federal de Campina Grande (UFCG)
instacron_str UFCG
institution UFCG
reponame_str Biblioteca Digital de Teses e Dissertações da UFCG
collection Biblioteca Digital de Teses e Dissertações da UFCG
bitstream.url.fl_str_mv https://dspace.sti.ufcg.edu.br/bitstream/riufcg/41050/3/J%C3%9ALIO+BARRETO+GUEDES+DA+COSTA+-+DISSERTA%C3%87%C3%83O+%28PPGCC%29+2024.pdf.txt
https://dspace.sti.ufcg.edu.br/bitstream/riufcg/41050/2/license.txt
https://dspace.sti.ufcg.edu.br/bitstream/riufcg/41050/1/J%C3%9ALIO+BARRETO+GUEDES+DA+COSTA+-+DISSERTA%C3%87%C3%83O+%28PPGCC%29+2024.pdf
bitstream.checksum.fl_str_mv cc2c14a39d876f6cf1748765f10209f9
8a4605be74aa9ea9d79846c1fba20a33
8fffa7fa7706e4a60b164793277d32dc
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da UFCG - Universidade Federal de Campina Grande (UFCG)
repository.mail.fl_str_mv bdtd@setor.ufcg.edu.br || bdtd@setor.ufcg.edu.br
_version_ 1863363564627034112