Leveraging LLMs for explainable recommender systems : exploring user perceptions and faithfulness in generated explanations
| Ano de defesa: | 2025 |
|---|---|
| Autor(a) principal: | |
| Orientador(a): | |
| Banca de defesa: | |
| Tipo de documento: | Dissertação |
| Tipo de acesso: | Acesso aberto |
| Idioma: | por |
| Instituição de defesa: |
Universidade Federal de Campina Grande
Brasil Centro de Engenharia Elétrica e Informática - CEEI PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO UFCG |
| Programa de Pós-Graduação: |
Não Informado pela instituição
|
| Departamento: |
Não Informado pela instituição
|
| País: |
Não Informado pela instituição
|
| Palavras-chave em Português: | |
| Link de acesso: | https://dspace.sti.ufcg.edu.br/handle/riufcg/41298 |
Resumo: | Sistemas derecomendação(RSs)tornaram-secomunsnodiaadiadeboapartedapop- ulação, auxiliandousuáriosnadescobertadeitensrelevantesemdiversosdomínios.No entanto, acrescentecomplexidadedosRSslevantapreocupaçõessobresuatransparênciae interpretabilidade, especialmenteemaplicaçõesdealtoimpacto.Estadissertaçãoinvestigao potencial dosGrandesModelosdeLinguagem(LLMs)paragerarexplicaçõesautomatizadas e centradasnoserhumanoparaRSseavaliasuafidelidadeemrefletiroraciocíniointerno dos modelos.Avaliamosrecomendaçõespersonalizadasdefilmeseexplicaçõesgeradas pelo GPT-3.5Turbopormeiodeumestudocomusuários,medindoeficácia,personaliza- ção epoderdepersuasão.Umestudocomplementar,abrangendorecomendaçõesdefilmes, músicas elivrosgeradasporquatroLLMs(asaber,GPT-4o,Llama3,Gemma2eMixtral 8x7B), avaliouafidelidadedessasexplicaçõesusandoumaavaliaçãoaxiomáticabaseada no AcordodeImportânciadeCaracterísticas.Nossosresultadosrevelaramque,emboraas recomendações geradaspelosLLMstenhammelhoradoasatisfaçãodousuárioemcom- paração comseleçõesaleatórias,asexplicaçõesfrequentementenãoatendiamaoscritérios de fidelidade.Surpreendentemente,explicaçõesbaseadasempreferênciasdousuárionão foram consistentementepercebidascomomaispersonalizadas,eficazesoupersuasivasdo que explicaçõesgenéricas.Asprincipaiscontribuiçõesincluíramumaavaliaçãocentrada no usuáriodaqualidadedasexplicações,ummétodoaxiomáticoparaavaliarafidelidade, percepções sobrepreferênciasdosusuáriosetiposdeexplicações,alémdeumaanáliseda interação entreosobjetivosdasexplicações.Desafiosnotáveisidentificadosincluemasca- pacidades limitadasdepersonalizaçãodosLLMs,avariabilidadenosresultadosdevidoao comportamento nãodeterminísticoeanaturezainerentementedecaixa-pretadessesmode- los. EstetrabalhodestacaaspromessaselimitaçõesdosLLMsemRSsExplicáveisefornece uma baseparafuturaspesquisasquebusquemmelhoraroalinhamentoentreapercepçãodo usuário eafidelidadedasexplicações. |
| id |
UFCG_2776d78bf107db58ecaac9a11b48e66a |
|---|---|
| oai_identifier_str |
oai:dspace.sti.ufcg.edu.br:riufcg/41298 |
| network_acronym_str |
UFCG |
| network_name_str |
Biblioteca Digital de Teses e Dissertações da UFCG |
| repository_id_str |
|
| spelling |
Leveraging LLMs for explainable recommender systems : exploring user perceptions and faithfulness in generated explanationsAproveitando LLMs para sistemas de recomendação explicáveis: explorando Percepções do usuário e fidelidade nas explicações geradasRecuperação de InformaçãoEstudo de UsuárioSistemas de Recomendação (RSs)Grandes Modelos de Linguagem (LLMs)Large Language Models (LLMs)Recommendation Systems (SRs)User StudyInformation RetrievalCiência da ComputaçãoSistemas derecomendação(RSs)tornaram-secomunsnodiaadiadeboapartedapop- ulação, auxiliandousuáriosnadescobertadeitensrelevantesemdiversosdomínios.No entanto, acrescentecomplexidadedosRSslevantapreocupaçõessobresuatransparênciae interpretabilidade, especialmenteemaplicaçõesdealtoimpacto.Estadissertaçãoinvestigao potencial dosGrandesModelosdeLinguagem(LLMs)paragerarexplicaçõesautomatizadas e centradasnoserhumanoparaRSseavaliasuafidelidadeemrefletiroraciocíniointerno dos modelos.Avaliamosrecomendaçõespersonalizadasdefilmeseexplicaçõesgeradas pelo GPT-3.5Turbopormeiodeumestudocomusuários,medindoeficácia,personaliza- ção epoderdepersuasão.Umestudocomplementar,abrangendorecomendaçõesdefilmes, músicas elivrosgeradasporquatroLLMs(asaber,GPT-4o,Llama3,Gemma2eMixtral 8x7B), avaliouafidelidadedessasexplicaçõesusandoumaavaliaçãoaxiomáticabaseada no AcordodeImportânciadeCaracterísticas.Nossosresultadosrevelaramque,emboraas recomendações geradaspelosLLMstenhammelhoradoasatisfaçãodousuárioemcom- paração comseleçõesaleatórias,asexplicaçõesfrequentementenãoatendiamaoscritérios de fidelidade.Surpreendentemente,explicaçõesbaseadasempreferênciasdousuárionão foram consistentementepercebidascomomaispersonalizadas,eficazesoupersuasivasdo que explicaçõesgenéricas.Asprincipaiscontribuiçõesincluíramumaavaliaçãocentrada no usuáriodaqualidadedasexplicações,ummétodoaxiomáticoparaavaliarafidelidade, percepções sobrepreferênciasdosusuáriosetiposdeexplicações,alémdeumaanáliseda interação entreosobjetivosdasexplicações.Desafiosnotáveisidentificadosincluemasca- pacidades limitadasdepersonalizaçãodosLLMs,avariabilidadenosresultadosdevidoao comportamento nãodeterminísticoeanaturezainerentementedecaixa-pretadessesmode- los. EstetrabalhodestacaaspromessaselimitaçõesdosLLMsemRSsExplicáveisefornece uma baseparafuturaspesquisasquebusquemmelhoraroalinhamentoentreapercepçãodo usuário eafidelidadedasexplicações.Recommender systems(RSs)havebecomeubiquitous,assistingusersindiscoveringrele- vantitemsacrossvariousdomains.However,theincreasingcomplexityofRSsraisescon- cerns abouttheirtransparencyandinterpretability,particularlyinhigh-stakesapplications. This thesisinvestigatesthepotentialofLargeLanguageModels(LLMs)togenerateau- tomated, human-centeredexplanationsforRSsandassessestheirfaithfulnessinreflecting the models’internalreasoning.Weevaluatedpersonalizedmovierecommendationsand explanationsgeneratedbyGPT-3.5Turbothroughauserstudy,measuringeffectiveness, personalization, andpersuasiveness.Afollow-upstudyacrossmovie,song,andbookrec- ommendations generatedbyfourLLMs(namely,GPT-4o,Llama3,Gemma2,andMixtral 8x7B) assessedthefaithfulnessoftheseexplanationsusinganaxiomaticevaluationbased on theFeatureImportanceAgreement.OurfindingsrevealedthatwhileLLM-generatedrec- ommendations improvedusersatisfactioncomparedtorandomselections,theexplanations often failedtomeetfaithfulnesscriteria.Surprisingly,explanationsbasedonuserpreferences were notconsistentlyperceivedasmorepersonalized,effective,orpersuasivethangeneric explanations.Keycontributionsincludedauser-centricevaluationofexplanationquality, an axiomaticmethodforassessingfaithfulness,insightsintouserpreferencesandexplana- tion types,andananalysisoftheinterplaybetweenexplanationgoals.Notablechallenges identified includeLLMs’limitedpersonalizationcapabilities,variabilityinoutputsdueto non-deterministic behavior,andtheinherentblack-boxnatureofthesemodels.Thiswork highlights thepromiseandlimitationsofLLMsinExplainableRSsandprovidesafounda- tion forfutureresearchtoenhancethealignmentbetweenuserperceptionandexplanation faithfulness.CapesUniversidade Federal de Campina GrandeBrasilCentro de Engenharia Elétrica e Informática - CEEIPÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃOUFCGMARINHO, Leandro Balby.MARINHO, L. B.http://lattes.cnpq.br/3728312501032061CAMPELO, Cláudio Elízio Calazans.VELOSO, Adriano Alonso.SILVA, Ítallo de Sousa.2025-02-132025-03-25T18:54:28Z2025-03-252025-03-25T18:54:28Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttps://dspace.sti.ufcg.edu.br/handle/riufcg/41298SILVA, Ítallo de Sousa. Leveraging LLMs for explainable recommender systems : exploring user perceptions and faithfulness in generated explanations. 2025. 85 f. Dissertação (Mestrando em Ciência da Computação) – Programa de Pós-Graduação em Ciência da Computação, Centro de Engenharia Elétrica e Informática, Universidade Federal de Campina Grande, Paraíba, Brasil, 2025.porFAPESQinfo:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da UFCGinstname:Universidade Federal de Campina Grande (UFCG)instacron:UFCG2025-07-24T06:12:53Zoai:dspace.sti.ufcg.edu.br:riufcg/41298Biblioteca Digital de Teses e Dissertaçõeshttp://bdtd.ufcg.edu.br/PUBhttp://dspace.sti.ufcg.edu.br:8080/oai/requestbdtd@setor.ufcg.edu.br || bdtd@setor.ufcg.edu.bropendoar:48512025-07-24T06:12:53Biblioteca Digital de Teses e Dissertações da UFCG - Universidade Federal de Campina Grande (UFCG)false |
| dc.title.none.fl_str_mv |
Leveraging LLMs for explainable recommender systems : exploring user perceptions and faithfulness in generated explanations Aproveitando LLMs para sistemas de recomendação explicáveis: explorando Percepções do usuário e fidelidade nas explicações geradas |
| title |
Leveraging LLMs for explainable recommender systems : exploring user perceptions and faithfulness in generated explanations |
| spellingShingle |
Leveraging LLMs for explainable recommender systems : exploring user perceptions and faithfulness in generated explanations SILVA, Ítallo de Sousa. Recuperação de Informação Estudo de Usuário Sistemas de Recomendação (RSs) Grandes Modelos de Linguagem (LLMs) Large Language Models (LLMs) Recommendation Systems (SRs) User Study Information Retrieval Ciência da Computação |
| title_short |
Leveraging LLMs for explainable recommender systems : exploring user perceptions and faithfulness in generated explanations |
| title_full |
Leveraging LLMs for explainable recommender systems : exploring user perceptions and faithfulness in generated explanations |
| title_fullStr |
Leveraging LLMs for explainable recommender systems : exploring user perceptions and faithfulness in generated explanations |
| title_full_unstemmed |
Leveraging LLMs for explainable recommender systems : exploring user perceptions and faithfulness in generated explanations |
| title_sort |
Leveraging LLMs for explainable recommender systems : exploring user perceptions and faithfulness in generated explanations |
| author |
SILVA, Ítallo de Sousa. |
| author_facet |
SILVA, Ítallo de Sousa. |
| author_role |
author |
| dc.contributor.none.fl_str_mv |
MARINHO, Leandro Balby. MARINHO, L. B. http://lattes.cnpq.br/3728312501032061 CAMPELO, Cláudio Elízio Calazans. VELOSO, Adriano Alonso. |
| dc.contributor.author.fl_str_mv |
SILVA, Ítallo de Sousa. |
| dc.subject.por.fl_str_mv |
Recuperação de Informação Estudo de Usuário Sistemas de Recomendação (RSs) Grandes Modelos de Linguagem (LLMs) Large Language Models (LLMs) Recommendation Systems (SRs) User Study Information Retrieval Ciência da Computação |
| topic |
Recuperação de Informação Estudo de Usuário Sistemas de Recomendação (RSs) Grandes Modelos de Linguagem (LLMs) Large Language Models (LLMs) Recommendation Systems (SRs) User Study Information Retrieval Ciência da Computação |
| description |
Sistemas derecomendação(RSs)tornaram-secomunsnodiaadiadeboapartedapop- ulação, auxiliandousuáriosnadescobertadeitensrelevantesemdiversosdomínios.No entanto, acrescentecomplexidadedosRSslevantapreocupaçõessobresuatransparênciae interpretabilidade, especialmenteemaplicaçõesdealtoimpacto.Estadissertaçãoinvestigao potencial dosGrandesModelosdeLinguagem(LLMs)paragerarexplicaçõesautomatizadas e centradasnoserhumanoparaRSseavaliasuafidelidadeemrefletiroraciocíniointerno dos modelos.Avaliamosrecomendaçõespersonalizadasdefilmeseexplicaçõesgeradas pelo GPT-3.5Turbopormeiodeumestudocomusuários,medindoeficácia,personaliza- ção epoderdepersuasão.Umestudocomplementar,abrangendorecomendaçõesdefilmes, músicas elivrosgeradasporquatroLLMs(asaber,GPT-4o,Llama3,Gemma2eMixtral 8x7B), avaliouafidelidadedessasexplicaçõesusandoumaavaliaçãoaxiomáticabaseada no AcordodeImportânciadeCaracterísticas.Nossosresultadosrevelaramque,emboraas recomendações geradaspelosLLMstenhammelhoradoasatisfaçãodousuárioemcom- paração comseleçõesaleatórias,asexplicaçõesfrequentementenãoatendiamaoscritérios de fidelidade.Surpreendentemente,explicaçõesbaseadasempreferênciasdousuárionão foram consistentementepercebidascomomaispersonalizadas,eficazesoupersuasivasdo que explicaçõesgenéricas.Asprincipaiscontribuiçõesincluíramumaavaliaçãocentrada no usuáriodaqualidadedasexplicações,ummétodoaxiomáticoparaavaliarafidelidade, percepções sobrepreferênciasdosusuáriosetiposdeexplicações,alémdeumaanáliseda interação entreosobjetivosdasexplicações.Desafiosnotáveisidentificadosincluemasca- pacidades limitadasdepersonalizaçãodosLLMs,avariabilidadenosresultadosdevidoao comportamento nãodeterminísticoeanaturezainerentementedecaixa-pretadessesmode- los. EstetrabalhodestacaaspromessaselimitaçõesdosLLMsemRSsExplicáveisefornece uma baseparafuturaspesquisasquebusquemmelhoraroalinhamentoentreapercepçãodo usuário eafidelidadedasexplicações. |
| publishDate |
2025 |
| dc.date.none.fl_str_mv |
2025-02-13 2025-03-25T18:54:28Z 2025-03-25 2025-03-25T18:54:28Z |
| dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
| dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
| format |
masterThesis |
| status_str |
publishedVersion |
| dc.identifier.uri.fl_str_mv |
https://dspace.sti.ufcg.edu.br/handle/riufcg/41298 SILVA, Ítallo de Sousa. Leveraging LLMs for explainable recommender systems : exploring user perceptions and faithfulness in generated explanations. 2025. 85 f. Dissertação (Mestrando em Ciência da Computação) – Programa de Pós-Graduação em Ciência da Computação, Centro de Engenharia Elétrica e Informática, Universidade Federal de Campina Grande, Paraíba, Brasil, 2025. |
| url |
https://dspace.sti.ufcg.edu.br/handle/riufcg/41298 |
| identifier_str_mv |
SILVA, Ítallo de Sousa. Leveraging LLMs for explainable recommender systems : exploring user perceptions and faithfulness in generated explanations. 2025. 85 f. Dissertação (Mestrando em Ciência da Computação) – Programa de Pós-Graduação em Ciência da Computação, Centro de Engenharia Elétrica e Informática, Universidade Federal de Campina Grande, Paraíba, Brasil, 2025. |
| dc.language.iso.fl_str_mv |
por |
| language |
por |
| dc.relation.none.fl_str_mv |
FAPESQ |
| dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
| eu_rights_str_mv |
openAccess |
| dc.publisher.none.fl_str_mv |
Universidade Federal de Campina Grande Brasil Centro de Engenharia Elétrica e Informática - CEEI PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO UFCG |
| publisher.none.fl_str_mv |
Universidade Federal de Campina Grande Brasil Centro de Engenharia Elétrica e Informática - CEEI PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO UFCG |
| dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Teses e Dissertações da UFCG instname:Universidade Federal de Campina Grande (UFCG) instacron:UFCG |
| instname_str |
Universidade Federal de Campina Grande (UFCG) |
| instacron_str |
UFCG |
| institution |
UFCG |
| reponame_str |
Biblioteca Digital de Teses e Dissertações da UFCG |
| collection |
Biblioteca Digital de Teses e Dissertações da UFCG |
| repository.name.fl_str_mv |
Biblioteca Digital de Teses e Dissertações da UFCG - Universidade Federal de Campina Grande (UFCG) |
| repository.mail.fl_str_mv |
bdtd@setor.ufcg.edu.br || bdtd@setor.ufcg.edu.br |
| _version_ |
1851784698448052224 |