An investigation of pre-training approaches for matrix factorization-based recommender systems.
| Ano de defesa: | 2024 |
|---|---|
| Autor(a) principal: | |
| Orientador(a): | |
| Banca de defesa: | , |
| Tipo de documento: | Dissertação |
| Tipo de acesso: | Acesso aberto |
| Idioma: | por |
| Instituição de defesa: |
Universidade Federal de Campina Grande
|
| Programa de Pós-Graduação: |
PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO
|
| Departamento: |
Centro de Engenharia Elétrica e Informática - CEEI
|
| País: |
Brasil
|
| Palavras-chave em Português: | |
| Área do conhecimento CNPq: | |
| Link de acesso: | https://dspace.sti.ufcg.edu.br/handle/riufcg/41050 |
Resumo: | Sistemas de Recomendação (RSs, Recommender Systems) consistuem um campo de pesquisa e aplicação cujo objetivo é recuperar itens relevantes dado o histórico de inter esses anteriores de um usuário. Desde o desafio aberto proposto pela Netflix para melhoria de performance em recomendação de filmes (Netflix Prize), RSs utilizam fatores latentes, ou embeddings, inicializados aleatoriamente e atualizados durante as etapas de treinamento, comorepresentação para ambos usuários e itens. Observando o grande campo da Aprendiza gem deMáquina (ML, Machine Learning), diferentes áreas de aplicação obtiveram melhoria de performance através da transferência de aprendizagem (Transfer Learning), à exemplo da grande evolução obtida nas tarefas relacionadas à Visão Computacional (CV, Computer Vision) após a introdução de modelos como VGG e AlexNet, mas também muito presente em tarefas do campo de Processamento de Linguagem Natural (NLP, Natural Language Pro cessing), especialmente com a popularização dos Grandes Modelos de Linguagem (LLMs, Large Language Models) como as famílias de modelos BERT e, mais popular recentemente, GPT. Diferente das outras áreas de aplicação, entretanto, Transfer Learning em RSs não é trivial, visto que as entidades geralmente se restringem à usuários e itens, enquanto em CV, as entidades são imagens e, em NLP, são palavras. O objetivo desta pesquisa é, portanto, estudar possíveis aplicações de Transfer Learning em modelos de recomendação, avaliando como diferentes inicializações impactam a performance preditiva de um modelo, através de técnicas de não-supervisionadas, auto-supervisionadas, e supervisionadas. |
| id |
UFCG_208f2d070e0a5cedaece86ece860392e |
|---|---|
| oai_identifier_str |
oai:dspace.sti.ufcg.edu.br:riufcg/41050 |
| network_acronym_str |
UFCG |
| network_name_str |
Biblioteca Digital de Teses e Dissertações da UFCG |
| repository_id_str |
|
| spelling |
MARINHO, Leandro Balby.MARINHO, L. B.http://lattes.cnpq.br/3728312501032061CAMPELO, Cláudio elízio calazans.MANZATO, Marcelo garcia.COSTA, J. B. G.http://lattes.cnpq.br/5304058030766012COSTA, Júlio Barreto Guedes da.Sistemas de Recomendação (RSs, Recommender Systems) consistuem um campo de pesquisa e aplicação cujo objetivo é recuperar itens relevantes dado o histórico de inter esses anteriores de um usuário. Desde o desafio aberto proposto pela Netflix para melhoria de performance em recomendação de filmes (Netflix Prize), RSs utilizam fatores latentes, ou embeddings, inicializados aleatoriamente e atualizados durante as etapas de treinamento, comorepresentação para ambos usuários e itens. Observando o grande campo da Aprendiza gem deMáquina (ML, Machine Learning), diferentes áreas de aplicação obtiveram melhoria de performance através da transferência de aprendizagem (Transfer Learning), à exemplo da grande evolução obtida nas tarefas relacionadas à Visão Computacional (CV, Computer Vision) após a introdução de modelos como VGG e AlexNet, mas também muito presente em tarefas do campo de Processamento de Linguagem Natural (NLP, Natural Language Pro cessing), especialmente com a popularização dos Grandes Modelos de Linguagem (LLMs, Large Language Models) como as famílias de modelos BERT e, mais popular recentemente, GPT. Diferente das outras áreas de aplicação, entretanto, Transfer Learning em RSs não é trivial, visto que as entidades geralmente se restringem à usuários e itens, enquanto em CV, as entidades são imagens e, em NLP, são palavras. O objetivo desta pesquisa é, portanto, estudar possíveis aplicações de Transfer Learning em modelos de recomendação, avaliando como diferentes inicializações impactam a performance preditiva de um modelo, através de técnicas de não-supervisionadas, auto-supervisionadas, e supervisionadas.Recommender Systems (RSs) consist of a field of research and application with the goal of retrieving relevant items for a user. Since the open Netflix Prize challenge for performance improvement in RSs, they have constantly been built by representing users and items as latent factors, more commonly known as embeddings, which are often randomly initialized and updated during the training stages. When looking at the greater Machine Learning (ML) area, different areas of application obtained performance improvement through Transfer Learning, such as the boost obtained in the Computer Vision (CV) tasks after the proposal of models like VGG or AlexNet, or the one achieved in Natural Language Processing (NLP) tasks, especially after the popularization of Large Language Models (LLMs) such as the BERT and, more recently, the GPT model families. Unlike other application areas, however, Transfer Learning for RSs is not trivial since users and items are the entities, while in CV and NLP, the entities are images and words, respectively. This research aims to study possible applications of Transfer Learning for RSs, evaluating how unsupervised, self-supervised, and supervised embedding initialization impact the predictive performance of the models.Submitted by Michelle Lima (michelle.lima@ufcg.edu.br) on 2025-03-14T12:38:25Z No. of bitstreams: 1 JÚLIO BARRETO GUEDES DA COSTA - DISSERTAÇÃO (PPGCC) 2024.pdf: 5234890 bytes, checksum: 8fffa7fa7706e4a60b164793277d32dc (MD5)Made available in DSpace on 2025-03-14T12:38:25Z (GMT). No. of bitstreams: 1 JÚLIO BARRETO GUEDES DA COSTA - DISSERTAÇÃO (PPGCC) 2024.pdf: 5234890 bytes, checksum: 8fffa7fa7706e4a60b164793277d32dc (MD5) Previous issue date: 2024-04-05Universidade Federal de Campina GrandePÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃOUFCGBrasilCentro de Engenharia Elétrica e Informática - CEEIComputação.Informática.Aprendizagem de máquinaSistemas de recomendaçãoTransferência de aprendizadoMachine learningRecommender systemsTransfer learningAn investigation of pre-training approaches for matrix factorization-based recommender systems.Uma investigação de abordagens de pré-treinamento para sistemas de recomendação baseados em fatoração de matrizes.2024-04-052025-03-14T12:38:25Z2025-03-142025-03-14T12:38:25Zhttps://dspace.sti.ufcg.edu.br/handle/riufcg/41050COSTA, Júlio Barreto Guedes da. An investigation of pre-training approaches for matrix factorization-based recommender systems. 2025. 92 f. Dissertação (Mestrado em Ciência da Computação) – Programa de Pós-Graduação em Computação, Centro de Engenharia Elétrica e Informática, Universidade Federal de Campina Grande, Paraíba, Brasil, 2024.info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisporinfo:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da UFCGinstname:Universidade Federal de Campina Grande (UFCG)instacron:UFCGTEXTJÚLIO BARRETO GUEDES DA COSTA - DISSERTAÇÃO (PPGCC) 2024.pdf.txtJÚLIO BARRETO GUEDES DA COSTA - DISSERTAÇÃO (PPGCC) 2024.pdf.txttext/plain145364https://dspace.sti.ufcg.edu.br/bitstream/riufcg/41050/3/J%C3%9ALIO+BARRETO+GUEDES+DA+COSTA+-+DISSERTA%C3%87%C3%83O+%28PPGCC%29+2024.pdf.txtcc2c14a39d876f6cf1748765f10209f9MD53LICENSElicense.txtlicense.txttext/plain; charset=utf-81748https://dspace.sti.ufcg.edu.br/bitstream/riufcg/41050/2/license.txt8a4605be74aa9ea9d79846c1fba20a33MD52ORIGINALJÚLIO BARRETO GUEDES DA COSTA - DISSERTAÇÃO (PPGCC) 2024.pdfJÚLIO BARRETO GUEDES DA COSTA - DISSERTAÇÃO (PPGCC) 2024.pdfapplication/pdf5234890https://dspace.sti.ufcg.edu.br/bitstream/riufcg/41050/1/J%C3%9ALIO+BARRETO+GUEDES+DA+COSTA+-+DISSERTA%C3%87%C3%83O+%28PPGCC%29+2024.pdf8fffa7fa7706e4a60b164793277d32dcMD51riufcg/410502025-11-18 04:17:20.3oai:dspace.sti.ufcg.edu.br:riufcg/41050Tk9URTogUExBQ0UgWU9VUiBPV04gTElDRU5TRSBIRVJFClRoaXMgc2FtcGxlIGxpY2Vuc2UgaXMgcHJvdmlkZWQgZm9yIGluZm9ybWF0aW9uYWwgcHVycG9zZXMgb25seS4KCk5PTi1FWENMVVNJVkUgRElTVFJJQlVUSU9OIExJQ0VOU0UKCkJ5IHNpZ25pbmcgYW5kIHN1Ym1pdHRpbmcgdGhpcyBsaWNlbnNlLCB5b3UgKHRoZSBhdXRob3Iocykgb3IgY29weXJpZ2h0Cm93bmVyKSBncmFudHMgdG8gRFNwYWNlIFVuaXZlcnNpdHkgKERTVSkgdGhlIG5vbi1leGNsdXNpdmUgcmlnaHQgdG8gcmVwcm9kdWNlLAp0cmFuc2xhdGUgKGFzIGRlZmluZWQgYmVsb3cpLCBhbmQvb3IgZGlzdHJpYnV0ZSB5b3VyIHN1Ym1pc3Npb24gKGluY2x1ZGluZwp0aGUgYWJzdHJhY3QpIHdvcmxkd2lkZSBpbiBwcmludCBhbmQgZWxlY3Ryb25pYyBmb3JtYXQgYW5kIGluIGFueSBtZWRpdW0sCmluY2x1ZGluZyBidXQgbm90IGxpbWl0ZWQgdG8gYXVkaW8gb3IgdmlkZW8uCgpZb3UgYWdyZWUgdGhhdCBEU1UgbWF5LCB3aXRob3V0IGNoYW5naW5nIHRoZSBjb250ZW50LCB0cmFuc2xhdGUgdGhlCnN1Ym1pc3Npb24gdG8gYW55IG1lZGl1bSBvciBmb3JtYXQgZm9yIHRoZSBwdXJwb3NlIG9mIHByZXNlcnZhdGlvbi4KCllvdSBhbHNvIGFncmVlIHRoYXQgRFNVIG1heSBrZWVwIG1vcmUgdGhhbiBvbmUgY29weSBvZiB0aGlzIHN1Ym1pc3Npb24gZm9yCnB1cnBvc2VzIG9mIHNlY3VyaXR5LCBiYWNrLXVwIGFuZCBwcmVzZXJ2YXRpb24uCgpZb3UgcmVwcmVzZW50IHRoYXQgdGhlIHN1Ym1pc3Npb24gaXMgeW91ciBvcmlnaW5hbCB3b3JrLCBhbmQgdGhhdCB5b3UgaGF2ZQp0aGUgcmlnaHQgdG8gZ3JhbnQgdGhlIHJpZ2h0cyBjb250YWluZWQgaW4gdGhpcyBsaWNlbnNlLiBZb3UgYWxzbyByZXByZXNlbnQKdGhhdCB5b3VyIHN1Ym1pc3Npb24gZG9lcyBub3QsIHRvIHRoZSBiZXN0IG9mIHlvdXIga25vd2xlZGdlLCBpbmZyaW5nZSB1cG9uCmFueW9uZSdzIGNvcHlyaWdodC4KCklmIHRoZSBzdWJtaXNzaW9uIGNvbnRhaW5zIG1hdGVyaWFsIGZvciB3aGljaCB5b3UgZG8gbm90IGhvbGQgY29weXJpZ2h0LAp5b3UgcmVwcmVzZW50IHRoYXQgeW91IGhhdmUgb2J0YWluZWQgdGhlIHVucmVzdHJpY3RlZCBwZXJtaXNzaW9uIG9mIHRoZQpjb3B5cmlnaHQgb3duZXIgdG8gZ3JhbnQgRFNVIHRoZSByaWdodHMgcmVxdWlyZWQgYnkgdGhpcyBsaWNlbnNlLCBhbmQgdGhhdApzdWNoIHRoaXJkLXBhcnR5IG93bmVkIG1hdGVyaWFsIGlzIGNsZWFybHkgaWRlbnRpZmllZCBhbmQgYWNrbm93bGVkZ2VkCndpdGhpbiB0aGUgdGV4dCBvciBjb250ZW50IG9mIHRoZSBzdWJtaXNzaW9uLgoKSUYgVEhFIFNVQk1JU1NJT04gSVMgQkFTRUQgVVBPTiBXT1JLIFRIQVQgSEFTIEJFRU4gU1BPTlNPUkVEIE9SIFNVUFBPUlRFRApCWSBBTiBBR0VOQ1kgT1IgT1JHQU5JWkFUSU9OIE9USEVSIFRIQU4gRFNVLCBZT1UgUkVQUkVTRU5UIFRIQVQgWU9VIEhBVkUKRlVMRklMTEVEIEFOWSBSSUdIVCBPRiBSRVZJRVcgT1IgT1RIRVIgT0JMSUdBVElPTlMgUkVRVUlSRUQgQlkgU1VDSApDT05UUkFDVCBPUiBBR1JFRU1FTlQuCgpEU1Ugd2lsbCBjbGVhcmx5IGlkZW50aWZ5IHlvdXIgbmFtZShzKSBhcyB0aGUgYXV0aG9yKHMpIG9yIG93bmVyKHMpIG9mIHRoZQpzdWJtaXNzaW9uLCBhbmQgd2lsbCBub3QgbWFrZSBhbnkgYWx0ZXJhdGlvbiwgb3RoZXIgdGhhbiBhcyBhbGxvd2VkIGJ5IHRoaXMKbGljZW5zZSwgdG8geW91ciBzdWJtaXNzaW9uLgo=Biblioteca Digital de Teses e Dissertaçõeshttp://bdtd.ufcg.edu.br/PUBhttp://dspace.sti.ufcg.edu.br:8080/oai/requestbdtd@setor.ufcg.edu.br || bdtd@setor.ufcg.edu.bropendoar:48512025-11-18T07:17:20Biblioteca Digital de Teses e Dissertações da UFCG - Universidade Federal de Campina Grande (UFCG)false |
| dc.title.pt_BR.fl_str_mv |
An investigation of pre-training approaches for matrix factorization-based recommender systems. |
| dc.title.alternative.pt_BR.fl_str_mv |
Uma investigação de abordagens de pré-treinamento para sistemas de recomendação baseados em fatoração de matrizes. |
| title |
An investigation of pre-training approaches for matrix factorization-based recommender systems. |
| spellingShingle |
An investigation of pre-training approaches for matrix factorization-based recommender systems. COSTA, Júlio Barreto Guedes da. Computação. Informática. Aprendizagem de máquina Sistemas de recomendação Transferência de aprendizado Machine learning Recommender systems Transfer learning |
| title_short |
An investigation of pre-training approaches for matrix factorization-based recommender systems. |
| title_full |
An investigation of pre-training approaches for matrix factorization-based recommender systems. |
| title_fullStr |
An investigation of pre-training approaches for matrix factorization-based recommender systems. |
| title_full_unstemmed |
An investigation of pre-training approaches for matrix factorization-based recommender systems. |
| title_sort |
An investigation of pre-training approaches for matrix factorization-based recommender systems. |
| author |
COSTA, Júlio Barreto Guedes da. |
| author_facet |
COSTA, Júlio Barreto Guedes da. |
| author_role |
author |
| dc.contributor.advisor1.fl_str_mv |
MARINHO, Leandro Balby. |
| dc.contributor.advisor1ID.fl_str_mv |
MARINHO, L. B. |
| dc.contributor.advisor1Lattes.fl_str_mv |
http://lattes.cnpq.br/3728312501032061 |
| dc.contributor.referee1.fl_str_mv |
CAMPELO, Cláudio elízio calazans. |
| dc.contributor.referee2.fl_str_mv |
MANZATO, Marcelo garcia. |
| dc.contributor.authorID.fl_str_mv |
COSTA, J. B. G. |
| dc.contributor.authorLattes.fl_str_mv |
http://lattes.cnpq.br/5304058030766012 |
| dc.contributor.author.fl_str_mv |
COSTA, Júlio Barreto Guedes da. |
| contributor_str_mv |
MARINHO, Leandro Balby. CAMPELO, Cláudio elízio calazans. MANZATO, Marcelo garcia. |
| dc.subject.cnpq.fl_str_mv |
Computação. Informática. |
| topic |
Computação. Informática. Aprendizagem de máquina Sistemas de recomendação Transferência de aprendizado Machine learning Recommender systems Transfer learning |
| dc.subject.por.fl_str_mv |
Aprendizagem de máquina Sistemas de recomendação Transferência de aprendizado Machine learning Recommender systems Transfer learning |
| description |
Sistemas de Recomendação (RSs, Recommender Systems) consistuem um campo de pesquisa e aplicação cujo objetivo é recuperar itens relevantes dado o histórico de inter esses anteriores de um usuário. Desde o desafio aberto proposto pela Netflix para melhoria de performance em recomendação de filmes (Netflix Prize), RSs utilizam fatores latentes, ou embeddings, inicializados aleatoriamente e atualizados durante as etapas de treinamento, comorepresentação para ambos usuários e itens. Observando o grande campo da Aprendiza gem deMáquina (ML, Machine Learning), diferentes áreas de aplicação obtiveram melhoria de performance através da transferência de aprendizagem (Transfer Learning), à exemplo da grande evolução obtida nas tarefas relacionadas à Visão Computacional (CV, Computer Vision) após a introdução de modelos como VGG e AlexNet, mas também muito presente em tarefas do campo de Processamento de Linguagem Natural (NLP, Natural Language Pro cessing), especialmente com a popularização dos Grandes Modelos de Linguagem (LLMs, Large Language Models) como as famílias de modelos BERT e, mais popular recentemente, GPT. Diferente das outras áreas de aplicação, entretanto, Transfer Learning em RSs não é trivial, visto que as entidades geralmente se restringem à usuários e itens, enquanto em CV, as entidades são imagens e, em NLP, são palavras. O objetivo desta pesquisa é, portanto, estudar possíveis aplicações de Transfer Learning em modelos de recomendação, avaliando como diferentes inicializações impactam a performance preditiva de um modelo, através de técnicas de não-supervisionadas, auto-supervisionadas, e supervisionadas. |
| publishDate |
2024 |
| dc.date.issued.fl_str_mv |
2024-04-05 |
| dc.date.accessioned.fl_str_mv |
2025-03-14T12:38:25Z |
| dc.date.available.fl_str_mv |
2025-03-14 2025-03-14T12:38:25Z |
| dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
| dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
| format |
masterThesis |
| status_str |
publishedVersion |
| dc.identifier.uri.fl_str_mv |
https://dspace.sti.ufcg.edu.br/handle/riufcg/41050 |
| dc.identifier.citation.fl_str_mv |
COSTA, Júlio Barreto Guedes da. An investigation of pre-training approaches for matrix factorization-based recommender systems. 2025. 92 f. Dissertação (Mestrado em Ciência da Computação) – Programa de Pós-Graduação em Computação, Centro de Engenharia Elétrica e Informática, Universidade Federal de Campina Grande, Paraíba, Brasil, 2024. |
| url |
https://dspace.sti.ufcg.edu.br/handle/riufcg/41050 |
| identifier_str_mv |
COSTA, Júlio Barreto Guedes da. An investigation of pre-training approaches for matrix factorization-based recommender systems. 2025. 92 f. Dissertação (Mestrado em Ciência da Computação) – Programa de Pós-Graduação em Computação, Centro de Engenharia Elétrica e Informática, Universidade Federal de Campina Grande, Paraíba, Brasil, 2024. |
| dc.language.iso.fl_str_mv |
por |
| language |
por |
| dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
| eu_rights_str_mv |
openAccess |
| dc.publisher.none.fl_str_mv |
Universidade Federal de Campina Grande |
| dc.publisher.program.fl_str_mv |
PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO |
| dc.publisher.initials.fl_str_mv |
UFCG |
| dc.publisher.country.fl_str_mv |
Brasil |
| dc.publisher.department.fl_str_mv |
Centro de Engenharia Elétrica e Informática - CEEI |
| publisher.none.fl_str_mv |
Universidade Federal de Campina Grande |
| dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Teses e Dissertações da UFCG instname:Universidade Federal de Campina Grande (UFCG) instacron:UFCG |
| instname_str |
Universidade Federal de Campina Grande (UFCG) |
| instacron_str |
UFCG |
| institution |
UFCG |
| reponame_str |
Biblioteca Digital de Teses e Dissertações da UFCG |
| collection |
Biblioteca Digital de Teses e Dissertações da UFCG |
| bitstream.url.fl_str_mv |
https://dspace.sti.ufcg.edu.br/bitstream/riufcg/41050/3/J%C3%9ALIO+BARRETO+GUEDES+DA+COSTA+-+DISSERTA%C3%87%C3%83O+%28PPGCC%29+2024.pdf.txt https://dspace.sti.ufcg.edu.br/bitstream/riufcg/41050/2/license.txt https://dspace.sti.ufcg.edu.br/bitstream/riufcg/41050/1/J%C3%9ALIO+BARRETO+GUEDES+DA+COSTA+-+DISSERTA%C3%87%C3%83O+%28PPGCC%29+2024.pdf |
| bitstream.checksum.fl_str_mv |
cc2c14a39d876f6cf1748765f10209f9 8a4605be74aa9ea9d79846c1fba20a33 8fffa7fa7706e4a60b164793277d32dc |
| bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 |
| repository.name.fl_str_mv |
Biblioteca Digital de Teses e Dissertações da UFCG - Universidade Federal de Campina Grande (UFCG) |
| repository.mail.fl_str_mv |
bdtd@setor.ufcg.edu.br || bdtd@setor.ufcg.edu.br |
| _version_ |
1863363564627034112 |