Leveraging LLMs for explainable recommender systems : exploring user perceptions and faithfulness in generated explanations

• Ano de defesa: 2025
• Autor(a) principal: SILVA, Ítallo de Sousa.
• Orientador(a): MARINHO, Leandro Balby.
• Banca de defesa: CAMPELO, Cláudio Elízio Calazans., VELOSO, Adriano Alonso.
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Universidade Federal de Campina Grande
• Programa de Pós-Graduação: PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO
• Departamento: Centro de Engenharia Elétrica e Informática - CEEI
• País: Brasil
• Palavras-chave em Português: Recuperação de Informação; Estudo de Usuário; Sistemas de Recomendação (RSs); Grandes Modelos de Linguagem (LLMs); Large Language Models (LLMs); Recommendation Systems (SRs); User Study; Information Retrieval
• Área do conhecimento CNPq: Ciência da Computação
• Link de acesso: https://dspace.sti.ufcg.edu.br/handle/riufcg/41298

Sistemas derecomendação(RSs)tornaram-secomunsnodiaadiadeboapartedapop- ulação, auxiliandousuáriosnadescobertadeitensrelevantesemdiversosdomínios.No entanto, acrescentecomplexidadedosRSslevantapreocupaçõessobresuatransparênciae interpretabilidade, especialmenteemaplicaçõesdealtoimpacto.Estadissertaçãoinvestigao potencial dosGrandesModelosdeLinguagem(LLMs)paragerarexplicaçõesautomatizadas e centradasnoserhumanoparaRSseavaliasuafidelidadeemrefletiroraciocíniointerno dos modelos.Avaliamosrecomendaçõespersonalizadasdefilmeseexplicaçõesgeradas pelo GPT-3.5Turbopormeiodeumestudocomusuários,medindoeficácia,personaliza- ção epoderdepersuasão.Umestudocomplementar,abrangendorecomendaçõesdefilmes, músicas elivrosgeradasporquatroLLMs(asaber,GPT-4o,Llama3,Gemma2eMixtral 8x7B), avaliouafidelidadedessasexplicaçõesusandoumaavaliaçãoaxiomáticabaseada no AcordodeImportânciadeCaracterísticas.Nossosresultadosrevelaramque,emboraas recomendações geradaspelosLLMstenhammelhoradoasatisfaçãodousuárioemcom- paração comseleçõesaleatórias,asexplicaçõesfrequentementenãoatendiamaoscritérios de fidelidade.Surpreendentemente,explicaçõesbaseadasempreferênciasdousuárionão foram consistentementepercebidascomomaispersonalizadas,eficazesoupersuasivasdo que explicaçõesgenéricas.Asprincipaiscontribuiçõesincluíramumaavaliaçãocentrada no usuáriodaqualidadedasexplicações,ummétodoaxiomáticoparaavaliarafidelidade, percepções sobrepreferênciasdosusuáriosetiposdeexplicações,alémdeumaanáliseda interação entreosobjetivosdasexplicações.Desafiosnotáveisidentificadosincluemasca- pacidades limitadasdepersonalizaçãodosLLMs,avariabilidadenosresultadosdevidoao comportamento nãodeterminísticoeanaturezainerentementedecaixa-pretadessesmode- los. EstetrabalhodestacaaspromessaselimitaçõesdosLLMsemRSsExplicáveisefornece uma baseparafuturaspesquisasquebusquemmelhoraroalinhamentoentreapercepçãodo usuário eafidelidadedasexplicações.