Escalonamento on-line eficiente de programas fork-join recursivos do tipo divisão e conquista em MPI

Detalhes bibliográficos
Ano de defesa: 2010
Autor(a) principal: Mor, Stefano Drimon Kurz
Orientador(a): Maillard, Nicolas Bruno
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Não Informado pela instituição
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Mpi
Palavras-chave em Inglês:
MPI
Link de acesso: http://hdl.handle.net/10183/23235
Resumo: Esta Dissertação de Mestrado propõe dois novos algoritmos para tornar mais eficiente o escalonamento on-line de tarefas com dependências estritas em agregados de computadores que usam como middleware para troca de mensagens alguma implementação da MPI (até a versão 2.1). Esses algoritmos foram projetados tendo-se em vista programas construídos no modelo de programação fork/join, onde a operação de fork é usada sobre uma chamada recursiva da função. São eles: 1. O algoritmo RatMD, implementado através de uma biblioteca de primitivas do tipo map-reduce, que funciona para qualquer implementação MPI, com qualquer versão da norma. Utilizado para minimizar o tempo de execução de uma computação paralela; e 2. O algoritmo RtMPD, implementado através de um sistema distribuído sobre daemons gerenciadores de processos criados dinamicamente com a implementação MPICH2 (que implementa a MPI-2). Utilizado para permitir execuções de instâncias maiores de programas paralelos dinâmicos. Ambos se baseiam em roubo de tarefas, que é a estratégia de balanceamento de carga mais difundida na literatura. Para ambos os algoritmos apresenta-se modelagem téorica de custos. Resultados experimentais obtidos ficam dentro dos limites teóricos calculados. RatMD provê uma redução no tempo de execução de até 80% em relação ao algoritmo usual (baseado em round-robin), com manutenção do speedup próximo ao linear e complexidade espacial idêntica à popular implementação com round-robin. RtMPD mantém, no mínimo, o mesmo desempenho que a implementação canônica do escalonamento em MPICH2, dobrando-se o limite físico de processos executados simultaneamente por cada nó.
id URGS_39cea49d1b3bcda72dc8540f13064297
oai_identifier_str oai:www.lume.ufrgs.br:10183/23235
network_acronym_str URGS
network_name_str Biblioteca Digital de Teses e Dissertações da UFRGS
repository_id_str
spelling Mor, Stefano Drimon KurzMaillard, Nicolas Bruno2010-06-01T04:18:24Z2010http://hdl.handle.net/10183/23235000740305Esta Dissertação de Mestrado propõe dois novos algoritmos para tornar mais eficiente o escalonamento on-line de tarefas com dependências estritas em agregados de computadores que usam como middleware para troca de mensagens alguma implementação da MPI (até a versão 2.1). Esses algoritmos foram projetados tendo-se em vista programas construídos no modelo de programação fork/join, onde a operação de fork é usada sobre uma chamada recursiva da função. São eles: 1. O algoritmo RatMD, implementado através de uma biblioteca de primitivas do tipo map-reduce, que funciona para qualquer implementação MPI, com qualquer versão da norma. Utilizado para minimizar o tempo de execução de uma computação paralela; e 2. O algoritmo RtMPD, implementado através de um sistema distribuído sobre daemons gerenciadores de processos criados dinamicamente com a implementação MPICH2 (que implementa a MPI-2). Utilizado para permitir execuções de instâncias maiores de programas paralelos dinâmicos. Ambos se baseiam em roubo de tarefas, que é a estratégia de balanceamento de carga mais difundida na literatura. Para ambos os algoritmos apresenta-se modelagem téorica de custos. Resultados experimentais obtidos ficam dentro dos limites teóricos calculados. RatMD provê uma redução no tempo de execução de até 80% em relação ao algoritmo usual (baseado em round-robin), com manutenção do speedup próximo ao linear e complexidade espacial idêntica à popular implementação com round-robin. RtMPD mantém, no mínimo, o mesmo desempenho que a implementação canônica do escalonamento em MPICH2, dobrando-se o limite físico de processos executados simultaneamente por cada nó.This Master’s Dissertation proposes two new algorithms for improvement on on-line scheduling of dynamic-created tasks with strict dependencies on clusters of computers using MPI (up to version 2.1) as its middleware for message-passing communication. These algorithms were built targeting programs written on the fork-join model, where the fork operation is always called over an recursive function call. They are: 1. RatMD, implemented as a map-reduce library working for any MPI implementation, on whatever norm’s version. Used for performance gain; and 2. RtMPD, implemented as a distributed system over dynamic-generated processes manager daemons with MPICH2 implentation of MPI. Used for executing larger instances of dynamic parallel programs. Both algorithms are based on the (literature consolidated) work stealing technique and have formal guarantees on its execution time and load balancing. Experimental results are within theoretical bounds. RatMD shows an improvement on the performance up to 80% when paired with more usual algorithms (based on round-robin strategy). It also provides near-linear speedup and just about the same space-complexity on similar implementations. RtMPD keeps, at minimum, the very same performance of the canonical MPICH2 implementation, near doubling the physical limit of simultaneous program execution per cluster node.application/pdfporProcessamento paraleloProcessamento : Alto desempenhoMpiProgramação paralelaBalanceamento : CargaMPISchedulingDynamicFork-joinRecursiveEscalonamento on-line eficiente de programas fork-join recursivos do tipo divisão e conquista em MPIEfficent on-line scheduling of recursive fork-join programs on MPI info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisUniversidade Federal do Rio Grande do SulInstituto de InformáticaPrograma de Pós-Graduação em ComputaçãoPorto Alegre, BR-RS2010mestradoinfo:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da UFRGSinstname:Universidade Federal do Rio Grande do Sul (UFRGS)instacron:UFRGSTEXT000740305.pdf.txt000740305.pdf.txtExtracted Texttext/plain231816http://www.lume.ufrgs.br/bitstream/10183/23235/2/000740305.pdf.txt495bdd79b50f514f4f547180042c98a6MD52ORIGINAL000740305.pdf000740305.pdfTexto completoapplication/pdf1070499http://www.lume.ufrgs.br/bitstream/10183/23235/1/000740305.pdfc3cbf0207acca5d47b62624e5d127943MD51THUMBNAIL000740305.pdf.jpg000740305.pdf.jpgGenerated Thumbnailimage/jpeg1006http://www.lume.ufrgs.br/bitstream/10183/23235/3/000740305.pdf.jpg3415ca4f3a704dd39d3d896ea157ceddMD5310183/232352018-10-17 08:43:13.675oai:www.lume.ufrgs.br:10183/23235Biblioteca Digital de Teses e Dissertaçõeshttps://lume.ufrgs.br/handle/10183/2PUBhttps://lume.ufrgs.br/oai/requestlume@ufrgs.br||lume@ufrgs.bropendoar:18532018-10-17T11:43:13Biblioteca Digital de Teses e Dissertações da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)false
dc.title.pt_BR.fl_str_mv Escalonamento on-line eficiente de programas fork-join recursivos do tipo divisão e conquista em MPI
dc.title.alternative.en.fl_str_mv Efficent on-line scheduling of recursive fork-join programs on MPI
title Escalonamento on-line eficiente de programas fork-join recursivos do tipo divisão e conquista em MPI
spellingShingle Escalonamento on-line eficiente de programas fork-join recursivos do tipo divisão e conquista em MPI
Mor, Stefano Drimon Kurz
Processamento paralelo
Processamento : Alto desempenho
Mpi
Programação paralela
Balanceamento : Carga
MPI
Scheduling
Dynamic
Fork-join
Recursive
title_short Escalonamento on-line eficiente de programas fork-join recursivos do tipo divisão e conquista em MPI
title_full Escalonamento on-line eficiente de programas fork-join recursivos do tipo divisão e conquista em MPI
title_fullStr Escalonamento on-line eficiente de programas fork-join recursivos do tipo divisão e conquista em MPI
title_full_unstemmed Escalonamento on-line eficiente de programas fork-join recursivos do tipo divisão e conquista em MPI
title_sort Escalonamento on-line eficiente de programas fork-join recursivos do tipo divisão e conquista em MPI
author Mor, Stefano Drimon Kurz
author_facet Mor, Stefano Drimon Kurz
author_role author
dc.contributor.author.fl_str_mv Mor, Stefano Drimon Kurz
dc.contributor.advisor1.fl_str_mv Maillard, Nicolas Bruno
contributor_str_mv Maillard, Nicolas Bruno
dc.subject.por.fl_str_mv Processamento paralelo
Processamento : Alto desempenho
Mpi
Programação paralela
Balanceamento : Carga
topic Processamento paralelo
Processamento : Alto desempenho
Mpi
Programação paralela
Balanceamento : Carga
MPI
Scheduling
Dynamic
Fork-join
Recursive
dc.subject.eng.fl_str_mv MPI
Scheduling
Dynamic
Fork-join
Recursive
description Esta Dissertação de Mestrado propõe dois novos algoritmos para tornar mais eficiente o escalonamento on-line de tarefas com dependências estritas em agregados de computadores que usam como middleware para troca de mensagens alguma implementação da MPI (até a versão 2.1). Esses algoritmos foram projetados tendo-se em vista programas construídos no modelo de programação fork/join, onde a operação de fork é usada sobre uma chamada recursiva da função. São eles: 1. O algoritmo RatMD, implementado através de uma biblioteca de primitivas do tipo map-reduce, que funciona para qualquer implementação MPI, com qualquer versão da norma. Utilizado para minimizar o tempo de execução de uma computação paralela; e 2. O algoritmo RtMPD, implementado através de um sistema distribuído sobre daemons gerenciadores de processos criados dinamicamente com a implementação MPICH2 (que implementa a MPI-2). Utilizado para permitir execuções de instâncias maiores de programas paralelos dinâmicos. Ambos se baseiam em roubo de tarefas, que é a estratégia de balanceamento de carga mais difundida na literatura. Para ambos os algoritmos apresenta-se modelagem téorica de custos. Resultados experimentais obtidos ficam dentro dos limites teóricos calculados. RatMD provê uma redução no tempo de execução de até 80% em relação ao algoritmo usual (baseado em round-robin), com manutenção do speedup próximo ao linear e complexidade espacial idêntica à popular implementação com round-robin. RtMPD mantém, no mínimo, o mesmo desempenho que a implementação canônica do escalonamento em MPICH2, dobrando-se o limite físico de processos executados simultaneamente por cada nó.
publishDate 2010
dc.date.accessioned.fl_str_mv 2010-06-01T04:18:24Z
dc.date.issued.fl_str_mv 2010
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10183/23235
dc.identifier.nrb.pt_BR.fl_str_mv 000740305
url http://hdl.handle.net/10183/23235
identifier_str_mv 000740305
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações da UFRGS
instname:Universidade Federal do Rio Grande do Sul (UFRGS)
instacron:UFRGS
instname_str Universidade Federal do Rio Grande do Sul (UFRGS)
instacron_str UFRGS
institution UFRGS
reponame_str Biblioteca Digital de Teses e Dissertações da UFRGS
collection Biblioteca Digital de Teses e Dissertações da UFRGS
bitstream.url.fl_str_mv http://www.lume.ufrgs.br/bitstream/10183/23235/2/000740305.pdf.txt
http://www.lume.ufrgs.br/bitstream/10183/23235/1/000740305.pdf
http://www.lume.ufrgs.br/bitstream/10183/23235/3/000740305.pdf.jpg
bitstream.checksum.fl_str_mv 495bdd79b50f514f4f547180042c98a6
c3cbf0207acca5d47b62624e5d127943
3415ca4f3a704dd39d3d896ea157cedd
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)
repository.mail.fl_str_mv lume@ufrgs.br||lume@ufrgs.br
_version_ 1831315876223123456