An investigation of pre-training approaches for matrix factorization-based recommender systems. - COSTA, Júlio Barreto Guedes da. (2024)
Sistemas de Recomendação (RSs, Recommender Systems) consistuem um campo de pesquisa e aplicação cujo objetivo é recuperar itens relevantes dado o histórico de inter esses anteriores de um usuário. Desde o desafio aberto proposto pela Netflix para melhoria de performance em recomendação de filmes (Netflix Prize), RSs utilizam fatores latentes, ou embeddings, inicializados aleatoriamente e atualizados durante as etapas de treinamento, comorepresentação para ambos usuários e itens. Observando o grande campo da Aprendiza gem deMáquina (ML, Machine Learning), diferentes áreas de aplicação obtiveram melhoria de performance através da transferência de aprendizagem (Transfer Learning), à exemplo da grande evolução obtida nas tarefas relacionadas à Visão Computacional (CV, Computer Vision) após a introdução de modelos como VGG e AlexNet, mas também muito presente em tarefas do campo de Processamento de Linguagem Natural (NLP, Natural Language Pro cessing), especialmente com a popularização dos Grandes Modelos de Linguagem (LLMs, Large Language Models) como as famílias de modelos BERT e, mais popular recentemente, GPT. Diferente das outras áreas de aplicação, entretanto, Transfer Learning em RSs não é trivial, visto que as entidades geralmente se restringem à usuários e itens, enquanto em CV, as entidades são imagens e, em NLP, são palavras. O objetivo desta pesquisa é, portanto, estudar possíveis aplicações de Transfer Learning em modelos de recomendação, avaliando como diferentes inicializações impactam a performance preditiva de um modelo, através de técnicas de não-supervisionadas, auto-supervisionadas, e supervisionadas.