Automated assessment of the visual aesthetics of app inventor user interfaces with deep learning

Detalhes bibliográficos
Ano de defesa: 2023
Autor(a) principal: Lima, Adriano Luiz de Souza
Orientador(a): Wangenheim, Christiane Anneliese Gresse von
Banca de defesa: Não Informado pela instituição
Tipo de documento: Tese
Tipo de acesso: Acesso aberto
Idioma: eng
Instituição de defesa: Não Informado pela instituição
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Link de acesso: https://repositorio.ufsc.br/handle/123456789/258453
Resumo: Tese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Ciência da Computação, Florianópolis, 2023.
id UFSC_28d3ee11fc95c05301e50169586dceb8
oai_identifier_str oai:repositorio.ufsc.br:123456789/258453
network_acronym_str UFSC
network_name_str Repositório Institucional da UFSC
repository_id_str
spelling Universidade Federal de Santa CatarinaLima, Adriano Luiz de SouzaWangenheim, Christiane Anneliese Gresse von2024-08-29T23:24:21Z2024-08-29T23:24:21Z2023387443https://repositorio.ufsc.br/handle/123456789/258453Tese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Ciência da Computação, Florianópolis, 2023.A estética visual está sendo considerada cada vez mais como um fator essencial para o sucesso das aplicações móveis, afetando a experiência e a percepção dos usuários, o que torna a sua avaliação crucial no processo de design de interfaces. Recentemente, as abordagens de aprendizado de máquina têm apresentado resultados bastante promissores na previsão da estética visual. No entanto, até o presente momento, essas soluções propostas avaliam apenas interfaces de usuário baseadas na web. Portanto, neste trabalho foi desenvolvido um modelo de deep learning para quantificar a estética visual de interfaces de usuário móveis Android. Um modelo de rede neural convolucional (CNN) com um corpus de screenshots de interfaces de aplicativos Android foi treinado, adotando-se uma abordagem de aprendizado supervisionado baseado em regressão. Após o treinamento, o modelo prevê a distribuição das avaliações de estética visual para as GUIs de aplicativos Android, a partir das quais é possível calcular suas pontuações de estética visual e o grau de concordância entre os avaliadores. O seu desempenho foi medido como o erro quadrático médio entre o grau de estética visual previsto e o atribuído por avaliadores humanos. Também foi avaliada a saída do modelo analisando-se sua correlação e concordância com a avaliação humana. Entre as contribuições desta pesquisa estão um modelo de aprendizado profundo que pode automatizar a avaliação do aspecto estético de aplicativos móveis e um conjunto de dados com 820 imagens de interfaces de usuários desenvolvidas com o App Inventor e rotuladas. Com esse modelo, espera-se reduzir o custo e o tempo desse tipo de avaliação, permitindo sua execução a qualquer momento durante o processo de desenvolvimento de software. Ele pode estar disponível para organizações de software com poucos recursos alocados para design de interface do usuário, contribuindo para a melhoria da qualidade do software e processo de desenvolvimento. Outro uso possível é no contexto educacional. Espera-se que a automatização da avaliação da estética visual apoie o ensino do design visual, diminuindo o esforço de avaliação e resolvendo outros problemas, como o favoritismo.Abstract: Visual aesthetics is increasingly seen as an essential success factor for mobile applications, affecting users' experience and perception, making its assessment crucial in the interface design process. Recently, machine learning approaches have shown great promise in predicting visual aesthetics. Yet so far, these proposed solutions only evaluate web-based user interfaces. Therefore, we have developed a deep learning model to quantify the visual aesthetics of Android mobile user interfaces. We trained a convolutional neural network (CNN) model with a corpus of screenshots of Android app interfaces, adopting a regression-based supervised learning approach. After training, the model predicts the distribution of visual aesthetics ratings to Android app GUIs, from which it is possible to compute their visual aesthetics scores and the degree of agreement among raters. We measured its performance as the mean squared error between the predicted visual aesthetics degree and that assigned by human raters. We also evaluated the model output by analyzing its correlation and agreement with the ground truth. A contribution from our research is a deep learning model that can automate the assessment of the aesthetic aspect of mobile apps and a dataset with 820 labeled GUIs developed with App Inventor. With this model, we expect to reduce the cost and time of this type of assessment, allowing its execution at any time during the software development process. It can be available to software organizations with few resources allotted for UI design, contributing to the software quality improvement and development process. Another possible use is in the educational context. Automating the assessment of visual aesthetics is expected to support the teaching of visual design by decreasing the evaluation effort and solving other problems, such as favoritism.167 p.| il., gráfs.engComputaçãoEstéticaAplicativos móveisAprendizado profundo (aprendizado do computador)Interfaces de usuário (Sistemas de computação)Automated assessment of the visual aesthetics of app inventor user interfaces with deep learninginfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisreponame:Repositório Institucional da UFSCinstname:Universidade Federal de Santa Catarina (UFSC)instacron:UFSCinfo:eu-repo/semantics/openAccessORIGINALPGCC1239-T.pdfPGCC1239-T.pdfapplication/pdf7692626https://repositorio.ufsc.br/bitstream/123456789/258453/-1/PGCC1239-T.pdf0fd344f88beb8e2e8554be6b66c77156MD5-1123456789/2584532024-08-29 20:24:21.793oai:repositorio.ufsc.br:123456789/258453Repositório InstitucionalPUBhttp://150.162.242.35/oai/requestsandra.sobrera@ufsc.bropendoar:23732024-08-29T23:24:21Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)false
dc.title.none.fl_str_mv Automated assessment of the visual aesthetics of app inventor user interfaces with deep learning
title Automated assessment of the visual aesthetics of app inventor user interfaces with deep learning
spellingShingle Automated assessment of the visual aesthetics of app inventor user interfaces with deep learning
Lima, Adriano Luiz de Souza
Computação
Estética
Aplicativos móveis
Aprendizado profundo (aprendizado do computador)
Interfaces de usuário (Sistemas de computação)
title_short Automated assessment of the visual aesthetics of app inventor user interfaces with deep learning
title_full Automated assessment of the visual aesthetics of app inventor user interfaces with deep learning
title_fullStr Automated assessment of the visual aesthetics of app inventor user interfaces with deep learning
title_full_unstemmed Automated assessment of the visual aesthetics of app inventor user interfaces with deep learning
title_sort Automated assessment of the visual aesthetics of app inventor user interfaces with deep learning
author Lima, Adriano Luiz de Souza
author_facet Lima, Adriano Luiz de Souza
author_role author
dc.contributor.none.fl_str_mv Universidade Federal de Santa Catarina
dc.contributor.author.fl_str_mv Lima, Adriano Luiz de Souza
dc.contributor.advisor1.fl_str_mv Wangenheim, Christiane Anneliese Gresse von
contributor_str_mv Wangenheim, Christiane Anneliese Gresse von
dc.subject.classification.none.fl_str_mv Computação
Estética
Aplicativos móveis
Aprendizado profundo (aprendizado do computador)
Interfaces de usuário (Sistemas de computação)
topic Computação
Estética
Aplicativos móveis
Aprendizado profundo (aprendizado do computador)
Interfaces de usuário (Sistemas de computação)
description Tese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Ciência da Computação, Florianópolis, 2023.
publishDate 2023
dc.date.issued.fl_str_mv 2023
dc.date.accessioned.fl_str_mv 2024-08-29T23:24:21Z
dc.date.available.fl_str_mv 2024-08-29T23:24:21Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://repositorio.ufsc.br/handle/123456789/258453
dc.identifier.other.none.fl_str_mv 387443
identifier_str_mv 387443
url https://repositorio.ufsc.br/handle/123456789/258453
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 167 p.| il., gráfs.
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFSC
instname:Universidade Federal de Santa Catarina (UFSC)
instacron:UFSC
instname_str Universidade Federal de Santa Catarina (UFSC)
instacron_str UFSC
institution UFSC
reponame_str Repositório Institucional da UFSC
collection Repositório Institucional da UFSC
bitstream.url.fl_str_mv https://repositorio.ufsc.br/bitstream/123456789/258453/-1/PGCC1239-T.pdf
bitstream.checksum.fl_str_mv 0fd344f88beb8e2e8554be6b66c77156
bitstream.checksumAlgorithm.fl_str_mv MD5
repository.name.fl_str_mv Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)
repository.mail.fl_str_mv sandra.sobrera@ufsc.br
_version_ 1851759248712663040

Registros relacionados