An approach for evaluating and mitigating intra-application I/O performance variability over parallel file systems

Detalhes bibliográficos
Ano de defesa: 2019
Autor(a) principal: Inacio, Eduardo Camilo
Orientador(a): Dantas, Mário Antônio Ribeiro
Banca de defesa: Não Informado pela instituição
Tipo de documento: Tese
Tipo de acesso: Acesso aberto
Idioma: eng
Instituição de defesa: Não Informado pela instituição
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Link de acesso: https://repositorio.ufsc.br/handle/123456789/214961
Resumo: Tese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Ciência da Computação, Florianópolis, 2019.
id UFSC_2ae468a0ccec190715db1a3a308d417a
oai_identifier_str oai:repositorio.ufsc.br:123456789/214961
network_acronym_str UFSC
network_name_str Repositório Institucional da UFSC
repository_id_str
spelling Universidade Federal de Santa CatarinaInacio, Eduardo CamiloDantas, Mário Antônio Ribeiro2020-10-21T21:11:42Z2020-10-21T21:11:42Z2019364028https://repositorio.ufsc.br/handle/123456789/214961Tese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Ciência da Computação, Florianópolis, 2019.Para atender aos crescentes requisitos de capacidade e desempenho de aplicações que fazem uso intensivo de dados, sistemas de armazenamento altamente distribuídos e com múltiplas camadas tem sido empregados em ambientes de computação de alto desempenho (CAD). Um dos principais componentes dessas infraestruturas é o sistema de arquivos paralelo (SAP), um sistema projetado para absorver transferências de dados em massa de aplicações com milhares de processos. A distribuição de carga nos servidores de dados dos SAPs compõe uma importante fonte de variabilidade de desempenho de entrada/saída (E/S). Embora reduzir tal variabilidade seja desejável, já que essa é conhecida por prejudicar o desempenho percebido pela aplicação, entender e lidar com a variabilidade nesses ambientes complexos continua sendo um desafio. Nesta pesquisa, uma abordagem diferenciada para avaliar e mitigar a variabilidade do desempenho de E/S intra-aplicação em SAPs é proposta. Uma proposta de modelo analítico, denominado DTSMaxLoad, fornece estimativas para a carga máxima em um servidor de dados. Para complementar o DTSMaxLoad, modelando condiçõs e mecanismos difíceis de representar analiticamente, foi proposto o modelo de simulação Parallel I/O and Storage System (PIOSS). Para avaliação experimental em ambientes reais, foi proposta uma ferramenta de avaliação de desempenho de E/S flexível e distribuída, chamada IOR-Extended (IORE). Finalmente, uma abordagem de distribuição de arquivos de alto nível para SAPs, chamada N-N Round-Robin (N2R2), foi proposta visando a redução da variabilidade do desempenho de E/S para aplicações em que cada processo acessa um arquivo independente. Um extenso esforço experimental foi realizado neste trabalho de pesquisa para avaliar cada uma das abordagens propostas. Em resumo, essa avaliação indicou que as propostas de modelagem DTSMaxLoad e PIOSS podem representar o comportamento da distribuição de carga em SAPs com fidelidade significativa. Adicionalmente, os resultados demonstraram que o N2R2 reduziu com sucesso a variabilidade de desempenho de E/S intra-aplicação para 270 cenários experimentais distintos, que, em última análise, se traduziram em melhorias gerais de desempenho de E/S da aplicação.<br>Abstract : To meet ever increasing capacity and performance requirements of emerging data-intensive applications, highly distributed and multilayered back-end storage systems have been employed in large-scale high performance computing (HPC) environments. A main component of these storage infrastructures is the parallel file system (PFS), a especially designed file system for absorbing bulk data transfers from applications with thousands of concurrent processes. Load distribution on PFS data servers compose a major source of intra-application input/output (I/O) performance variability. Albeit mitigating variability is desirable, as it is known to harm application-perceived performance, understanding and dealing with I/O performance variability in such complex environments remains a challenging task. In this research, a differentiated approach for evaluating and mitigating intra-application I/O performance variability over PFSs is proposed. More specifically, from the evaluation perspective, a comprehensive approach combining complementary methods is proposed. An analytical model proposal, named DTSMaxLoad, provides estimates for the maximum load in a PFS data server. To complement DTSMaxLoad, modeling conditions and mechanisms hard to represent analytically, the Parallel I/O and Storage System (PIOSS) simulation model was proposed. Finally, for experimental evaluation over real environments, a flexible and distributed I/O performance evaluation tool, coined as IOR-Extended (IORE), was proposed. Furthermore, a high-level file distribution approach for PFSs, called N-N Round-Robin (N2R2), was proposed focusing on mitigating I/O performance variability for distributed applications where each process accesses an individual and independent file. An extensive experimental effort, including measurements on real environments, was conducted in this research work for evaluating each of the proposed approaches. In summary, this evaluation indicated both DTSMaxLoad and PIOSS modeling proposals can represent load distribution behavior on PFSs with significant fidelity. Moreover, results demonstrated N2R2 successfully reduced intra-application I/O performance variability for 270 distinct experimental scenarios, which, ultimately, translated into overall application I/O performance improvements.156 p.| il., gráfs., tabs.engComputaçãoArmazenamento de dadosAn approach for evaluating and mitigating intra-application I/O performance variability over parallel file systemsinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisreponame:Repositório Institucional da UFSCinstname:Universidade Federal de Santa Catarina (UFSC)instacron:UFSCinfo:eu-repo/semantics/openAccessORIGINALPGCC1153-T.pdfPGCC1153-T.pdfapplication/pdf2150564https://repositorio.ufsc.br/bitstream/123456789/214961/-1/PGCC1153-T.pdfa31efa33f2436929ba3c57cad5323e9aMD5-1123456789/2149612020-10-21 18:11:43.039oai:repositorio.ufsc.br:123456789/214961Repositório InstitucionalPUBhttp://150.162.242.35/oai/requestsandra.sobrera@ufsc.bropendoar:23732020-10-21T21:11:43Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)false
dc.title.none.fl_str_mv An approach for evaluating and mitigating intra-application I/O performance variability over parallel file systems
title An approach for evaluating and mitigating intra-application I/O performance variability over parallel file systems
spellingShingle An approach for evaluating and mitigating intra-application I/O performance variability over parallel file systems
Inacio, Eduardo Camilo
Computação
Armazenamento de dados
title_short An approach for evaluating and mitigating intra-application I/O performance variability over parallel file systems
title_full An approach for evaluating and mitigating intra-application I/O performance variability over parallel file systems
title_fullStr An approach for evaluating and mitigating intra-application I/O performance variability over parallel file systems
title_full_unstemmed An approach for evaluating and mitigating intra-application I/O performance variability over parallel file systems
title_sort An approach for evaluating and mitigating intra-application I/O performance variability over parallel file systems
author Inacio, Eduardo Camilo
author_facet Inacio, Eduardo Camilo
author_role author
dc.contributor.none.fl_str_mv Universidade Federal de Santa Catarina
dc.contributor.author.fl_str_mv Inacio, Eduardo Camilo
dc.contributor.advisor1.fl_str_mv Dantas, Mário Antônio Ribeiro
contributor_str_mv Dantas, Mário Antônio Ribeiro
dc.subject.classification.none.fl_str_mv Computação
Armazenamento de dados
topic Computação
Armazenamento de dados
description Tese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Ciência da Computação, Florianópolis, 2019.
publishDate 2019
dc.date.issued.fl_str_mv 2019
dc.date.accessioned.fl_str_mv 2020-10-21T21:11:42Z
dc.date.available.fl_str_mv 2020-10-21T21:11:42Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://repositorio.ufsc.br/handle/123456789/214961
dc.identifier.other.none.fl_str_mv 364028
identifier_str_mv 364028
url https://repositorio.ufsc.br/handle/123456789/214961
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 156 p.| il., gráfs., tabs.
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFSC
instname:Universidade Federal de Santa Catarina (UFSC)
instacron:UFSC
instname_str Universidade Federal de Santa Catarina (UFSC)
instacron_str UFSC
institution UFSC
reponame_str Repositório Institucional da UFSC
collection Repositório Institucional da UFSC
bitstream.url.fl_str_mv https://repositorio.ufsc.br/bitstream/123456789/214961/-1/PGCC1153-T.pdf
bitstream.checksum.fl_str_mv a31efa33f2436929ba3c57cad5323e9a
bitstream.checksumAlgorithm.fl_str_mv MD5
repository.name.fl_str_mv Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)
repository.mail.fl_str_mv sandra.sobrera@ufsc.br
_version_ 1851758844273754112

Registros relacionados