Leveraging LLMs for explainable recommender systems : exploring user perceptions and faithfulness in generated explanations - SILVA, Ítallo de Sousa. (2025)
Sistemas derecomendação(RSs)tornaram-secomunsnodiaadiadeboapartedapop- ulação, auxiliandousuáriosnadescobertadeitensrelevantesemdiversosdomínios.No entanto, acrescentecomplexidadedosRSslevantapreocupaçõessobresuatransparênciae interpretabilidade, especialmenteemaplicaçõesdealtoimpacto.Estadissertaçãoinvestigao potencial dosGrandesModelosdeLinguagem(LLMs)paragerarexplicaçõesautomatizadas e centradasnoserhumanoparaRSseavaliasuafidelidadeemrefletiroraciocíniointerno dos modelos.Avaliamosrecomendaçõespersonalizadasdefilmeseexplicaçõesgeradas pelo GPT-3.5Turbopormeiodeumestudocomusuários,medindoeficácia,personaliza- ção epoderdepersuasão.Umestudocomplementar,abrangendorecomendaçõesdefilmes, músicas elivrosgeradasporquatroLLMs(asaber,GPT-4o,Llama3,Gemma2eMixtral 8x7B), avaliouafidelidadedessasexplicaçõesusandoumaavaliaçãoaxiomáticabaseada no AcordodeImportânciadeCaracterísticas.Nossosresultadosrevelaramque,emboraas recomendações geradaspelosLLMstenhammelhoradoasatisfaçãodousuárioemcom- paração comseleçõesaleatórias,asexplicaçõesfrequentementenãoatendiamaoscritérios de fidelidade.Surpreendentemente,explicaçõesbaseadasempreferênciasdousuárionão foram consistentementepercebidascomomaispersonalizadas,eficazesoupersuasivasdo que explicaçõesgenéricas.Asprincipaiscontribuiçõesincluíramumaavaliaçãocentrada no usuáriodaqualidadedasexplicações,ummétodoaxiomáticoparaavaliarafidelidade, percepções sobrepreferênciasdosusuáriosetiposdeexplicações,alémdeumaanáliseda interação entreosobjetivosdasexplicações.Desafiosnotáveisidentificadosincluemasca- pacidades limitadasdepersonalizaçãodosLLMs,avariabilidadenosresultadosdevidoao comportamento nãodeterminísticoeanaturezainerentementedecaixa-pretadessesmode- los. EstetrabalhodestacaaspromessaselimitaçõesdosLLMsemRSsExplicáveisefornece uma baseparafuturaspesquisasquebusquemmelhoraroalinhamentoentreapercepçãodo usuário eafidelidadedasexplicações.