Sentinel: ambiente e-science de alto desempenho para gerenciamento e monitoramento de aplicações científicas

Detalhes bibliográficos
Ano de defesa: 2017
Autor(a) principal: Bruno Bustamante Ferreira Leonor
Orientador(a): Reinaldo Roberto Rosa, Walter Abrahão dos Santos
Banca de defesa: Maurício Gonçalves Vieira Ferreira, Eugênio Sper de Almeida, Luis Fernando de Almeida, Murilo da Silva Dantas
Tipo de documento: Tese
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Instituto Nacional de Pesquisas Espaciais (INPE)
Programa de Pós-Graduação: Programa de Pós-Graduação do INPE em Computação Aplicada
Departamento: Não Informado pela instituição
País: BR
Resumo em Inglês: Through an e-Science paradigm computing has revolutionized the way in which diverse scientific areas conduct their research. To perform simulations/surveys there are several systems that deal with a huge amount of variables that may require various calculations and high performance computational resources. However, there is a need to eventually address issues of interoperability and execution of scientific workflows on a case-by-case. Motivated by the explosive growth of data volume, approaches in e-Science have been adopted as support in solving practical and research problems. The proposal of this research is the creation of an e-Science solution called Sentinel that allows researchers to manage and monitor scientific experiments. This provides mechanisms that allow the inclusion of new applications and total control over all your registered experiments, concentrating all your research in one place. The characteristics desired for the environment were identified from a survey and comparison of several tools used in the scientific environment and some notes/criticisms made by users. Through a Web Portal, Sentinel provides a cloud environment to support researchers in their studies that can be accessed through any device enabled to access the web. In order to exempt the researcher from the need to know the computational environment to be used, his experiments are executed in a containerization platform that deals with the interoperability and concatenation aspects of scientific workflows. The computational infrastructure used to demonstrate this project consists basically of Raspberry Pi 3 model B microcomputers. This solution is interesting because of its low cost and features offered, and other hardware resources can be associated whenever necessary.With a case study focused on the SpaceWeather, the DFA method was applied to the measurements of solar irradiation (TSI) obtained between 1978 and 2012. The Space Weather was chosen because of its relevance in the conditions and processes that occur in space that potentially affect the environment close to Earth, humans and their technological assets. In Brazil, studies in this area are conducted by the EMBRACE (Brazilian Space Weather Studies and Monitoring) program of INPE (National Institute of Space Research). During the execution of the experiments created within the proposed case study, the Sentinel environment was consistent and stable between local and containerized executions. Finally, the approach adopted is general enough to be extended to other application domains since it allows the prior definition of a scientific workflow.
Link de acesso: http://urlib.net/sid.inpe.br/mtc-m21b/2017/07.28.18.52
Resumo: Mediante um paradigma de e-Science, a computação vem revolucionando o modo como diversas áreas científicas conduzem suas pesquisas. Para realizar simulações/pesquisas, existem diversos sistemas que lidam com uma enorme quantidade de variáveis que podem exigir vários cálculos e recursos computacionais de alto desempenho. Entretanto, há a necessidade de se lidar eventualmente com questões de interoperabilidade e execução de workflows científicos caso a caso. Motivada pelo crescimento explosivo do volume de dados, abordagens em e-Science vêm sendo adotadas como apoio na resolução de problemas práticos e de pesquisa. A proposta desta pesquisa é a criação de uma solução de e-Science chamada Sentinel que permite a pesquisadores o gerenciamento e monitoramento de experimentos científicos. Isto fornece mecanismos que possibilitam a inclusão de novas aplicações e total controle sobre todos os seus experimentos cadastrados, concentrando toda sua pesquisa em um só lugar. As características desejadas para o ambiente foram identificas a partir de um levantamento e comparação de diversas ferramentas utilizadas no meio científico e alguns apontamentos/críticas feitos por usuários. Através de um Portal Web, o Sentinel fornece um ambiente em nuvem para apoiar os pesquisadores em seus estudos que poderão ser acessados através de qualquer dispositivo habilitado para acessar a web. Para eximir do pesquisador a necessidade de conhecimento do ambiente computacional a ser utilizado, seus experimentos são executados em uma plataforma de conteinerização que trata os aspectos de interoperabilidade e concatenação de workflows científicos. A infraestrutura computacional utilizada para demonstração deste projeto é constituída basicamente de microcomputadores Raspberry Pi 3 model B. Esta solução é interessante pelo seu baixo custo e recursos oferecidos, podendo ser associados outros recursos de hardware sempre que necessário. Com um estudo de caso voltado ao Clima Espacial, o método DFA (Análise de Flutuação Destendenciada) foi aplicado às medidas de irradiação solar (TSI) obtidas entre 1978 e 2012. O Clima Espacial foi escolhido devido à sua relevância nas condições e nos processos que ocorrem no espaço que potencialmente afetam o ambiente próximo à Terra, seres humanos e seus ativos tecnológicos. No Brasil, os estudos nesta área são dirigidos pelo programa EMBRACE (Estudos e Monitoramento Brasileiro do Clima Espacial) do INPE (Instituto Nacional de Pesquisas Espaciais). Durante a execução dos experimentos criados dentro do estudo de caso proposto, o ambiente Sentinel apresentou-se consistente e estável entre as execuções locais e as conteinerizadas. Finalmente, a abordagem adotada é geral o bastante para ser estendida a outros domínios de aplicação uma vez que permite a definição prévia de um workflow científico.
id INPE_928badc6e4c7f9d9979b762f3a16892b
oai_identifier_str oai:urlib.net:sid.inpe.br/mtc-m21b/2017/07.28.18.52.19-0
network_acronym_str INPE
network_name_str Biblioteca Digital de Teses e Dissertações do INPE
spelling info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisSentinel: ambiente e-science de alto desempenho para gerenciamento e monitoramento de aplicações científicasSentinel: a high performance e-science environment for management and monitoring scientific applications2017-08-11Reinaldo Roberto RosaWalter Abrahão dos SantosMaurício Gonçalves Vieira FerreiraEugênio Sper de AlmeidaLuis Fernando de AlmeidaMurilo da Silva DantasBruno Bustamante Ferreira LeonorInstituto Nacional de Pesquisas Espaciais (INPE)Programa de Pós-Graduação do INPE em Computação AplicadaINPEBRe-Science. HPC. containers. workflow científico. clima Espacial. e-Science. HPC. containers. scientific workflow. space weatherMediante um paradigma de e-Science, a computação vem revolucionando o modo como diversas áreas científicas conduzem suas pesquisas. Para realizar simulações/pesquisas, existem diversos sistemas que lidam com uma enorme quantidade de variáveis que podem exigir vários cálculos e recursos computacionais de alto desempenho. Entretanto, há a necessidade de se lidar eventualmente com questões de interoperabilidade e execução de workflows científicos caso a caso. Motivada pelo crescimento explosivo do volume de dados, abordagens em e-Science vêm sendo adotadas como apoio na resolução de problemas práticos e de pesquisa. A proposta desta pesquisa é a criação de uma solução de e-Science chamada Sentinel que permite a pesquisadores o gerenciamento e monitoramento de experimentos científicos. Isto fornece mecanismos que possibilitam a inclusão de novas aplicações e total controle sobre todos os seus experimentos cadastrados, concentrando toda sua pesquisa em um só lugar. As características desejadas para o ambiente foram identificas a partir de um levantamento e comparação de diversas ferramentas utilizadas no meio científico e alguns apontamentos/críticas feitos por usuários. Através de um Portal Web, o Sentinel fornece um ambiente em nuvem para apoiar os pesquisadores em seus estudos que poderão ser acessados através de qualquer dispositivo habilitado para acessar a web. Para eximir do pesquisador a necessidade de conhecimento do ambiente computacional a ser utilizado, seus experimentos são executados em uma plataforma de conteinerização que trata os aspectos de interoperabilidade e concatenação de workflows científicos. A infraestrutura computacional utilizada para demonstração deste projeto é constituída basicamente de microcomputadores Raspberry Pi 3 model B. Esta solução é interessante pelo seu baixo custo e recursos oferecidos, podendo ser associados outros recursos de hardware sempre que necessário. Com um estudo de caso voltado ao Clima Espacial, o método DFA (Análise de Flutuação Destendenciada) foi aplicado às medidas de irradiação solar (TSI) obtidas entre 1978 e 2012. O Clima Espacial foi escolhido devido à sua relevância nas condições e nos processos que ocorrem no espaço que potencialmente afetam o ambiente próximo à Terra, seres humanos e seus ativos tecnológicos. No Brasil, os estudos nesta área são dirigidos pelo programa EMBRACE (Estudos e Monitoramento Brasileiro do Clima Espacial) do INPE (Instituto Nacional de Pesquisas Espaciais). Durante a execução dos experimentos criados dentro do estudo de caso proposto, o ambiente Sentinel apresentou-se consistente e estável entre as execuções locais e as conteinerizadas. Finalmente, a abordagem adotada é geral o bastante para ser estendida a outros domínios de aplicação uma vez que permite a definição prévia de um workflow científico.Through an e-Science paradigm computing has revolutionized the way in which diverse scientific areas conduct their research. To perform simulations/surveys there are several systems that deal with a huge amount of variables that may require various calculations and high performance computational resources. However, there is a need to eventually address issues of interoperability and execution of scientific workflows on a case-by-case. Motivated by the explosive growth of data volume, approaches in e-Science have been adopted as support in solving practical and research problems. The proposal of this research is the creation of an e-Science solution called Sentinel that allows researchers to manage and monitor scientific experiments. This provides mechanisms that allow the inclusion of new applications and total control over all your registered experiments, concentrating all your research in one place. The characteristics desired for the environment were identified from a survey and comparison of several tools used in the scientific environment and some notes/criticisms made by users. Through a Web Portal, Sentinel provides a cloud environment to support researchers in their studies that can be accessed through any device enabled to access the web. In order to exempt the researcher from the need to know the computational environment to be used, his experiments are executed in a containerization platform that deals with the interoperability and concatenation aspects of scientific workflows. The computational infrastructure used to demonstrate this project consists basically of Raspberry Pi 3 model B microcomputers. This solution is interesting because of its low cost and features offered, and other hardware resources can be associated whenever necessary.With a case study focused on the SpaceWeather, the DFA method was applied to the measurements of solar irradiation (TSI) obtained between 1978 and 2012. The Space Weather was chosen because of its relevance in the conditions and processes that occur in space that potentially affect the environment close to Earth, humans and their technological assets. In Brazil, studies in this area are conducted by the EMBRACE (Brazilian Space Weather Studies and Monitoring) program of INPE (National Institute of Space Research). During the execution of the experiments created within the proposed case study, the Sentinel environment was consistent and stable between local and containerized executions. Finally, the approach adopted is general enough to be extended to other application domains since it allows the prior definition of a scientific workflow.http://urlib.net/sid.inpe.br/mtc-m21b/2017/07.28.18.52info:eu-repo/semantics/openAccessporreponame:Biblioteca Digital de Teses e Dissertações do INPEinstname:Instituto Nacional de Pesquisas Espaciais (INPE)instacron:INPE2021-07-31T06:55:28Zoai:urlib.net:sid.inpe.br/mtc-m21b/2017/07.28.18.52.19-0Biblioteca Digital de Teses e Dissertaçõeshttp://bibdigital.sid.inpe.br/PUBhttp://bibdigital.sid.inpe.br/col/iconet.com.br/banon/2003/11.21.21.08/doc/oai.cgiopendoar:32772021-07-31 06:55:29.328Biblioteca Digital de Teses e Dissertações do INPE - Instituto Nacional de Pesquisas Espaciais (INPE)false
dc.title.pt.fl_str_mv Sentinel: ambiente e-science de alto desempenho para gerenciamento e monitoramento de aplicações científicas
dc.title.alternative.en.fl_str_mv Sentinel: a high performance e-science environment for management and monitoring scientific applications
title Sentinel: ambiente e-science de alto desempenho para gerenciamento e monitoramento de aplicações científicas
spellingShingle Sentinel: ambiente e-science de alto desempenho para gerenciamento e monitoramento de aplicações científicas
Bruno Bustamante Ferreira Leonor
title_short Sentinel: ambiente e-science de alto desempenho para gerenciamento e monitoramento de aplicações científicas
title_full Sentinel: ambiente e-science de alto desempenho para gerenciamento e monitoramento de aplicações científicas
title_fullStr Sentinel: ambiente e-science de alto desempenho para gerenciamento e monitoramento de aplicações científicas
title_full_unstemmed Sentinel: ambiente e-science de alto desempenho para gerenciamento e monitoramento de aplicações científicas
title_sort Sentinel: ambiente e-science de alto desempenho para gerenciamento e monitoramento de aplicações científicas
author Bruno Bustamante Ferreira Leonor
author_facet Bruno Bustamante Ferreira Leonor
author_role author
dc.contributor.advisor1.fl_str_mv Reinaldo Roberto Rosa
dc.contributor.advisor2.fl_str_mv Walter Abrahão dos Santos
dc.contributor.referee1.fl_str_mv Maurício Gonçalves Vieira Ferreira
dc.contributor.referee2.fl_str_mv Eugênio Sper de Almeida
dc.contributor.referee3.fl_str_mv Luis Fernando de Almeida
dc.contributor.referee4.fl_str_mv Murilo da Silva Dantas
dc.contributor.author.fl_str_mv Bruno Bustamante Ferreira Leonor
contributor_str_mv Reinaldo Roberto Rosa
Walter Abrahão dos Santos
Maurício Gonçalves Vieira Ferreira
Eugênio Sper de Almeida
Luis Fernando de Almeida
Murilo da Silva Dantas
dc.description.abstract.por.fl_txt_mv Mediante um paradigma de e-Science, a computação vem revolucionando o modo como diversas áreas científicas conduzem suas pesquisas. Para realizar simulações/pesquisas, existem diversos sistemas que lidam com uma enorme quantidade de variáveis que podem exigir vários cálculos e recursos computacionais de alto desempenho. Entretanto, há a necessidade de se lidar eventualmente com questões de interoperabilidade e execução de workflows científicos caso a caso. Motivada pelo crescimento explosivo do volume de dados, abordagens em e-Science vêm sendo adotadas como apoio na resolução de problemas práticos e de pesquisa. A proposta desta pesquisa é a criação de uma solução de e-Science chamada Sentinel que permite a pesquisadores o gerenciamento e monitoramento de experimentos científicos. Isto fornece mecanismos que possibilitam a inclusão de novas aplicações e total controle sobre todos os seus experimentos cadastrados, concentrando toda sua pesquisa em um só lugar. As características desejadas para o ambiente foram identificas a partir de um levantamento e comparação de diversas ferramentas utilizadas no meio científico e alguns apontamentos/críticas feitos por usuários. Através de um Portal Web, o Sentinel fornece um ambiente em nuvem para apoiar os pesquisadores em seus estudos que poderão ser acessados através de qualquer dispositivo habilitado para acessar a web. Para eximir do pesquisador a necessidade de conhecimento do ambiente computacional a ser utilizado, seus experimentos são executados em uma plataforma de conteinerização que trata os aspectos de interoperabilidade e concatenação de workflows científicos. A infraestrutura computacional utilizada para demonstração deste projeto é constituída basicamente de microcomputadores Raspberry Pi 3 model B. Esta solução é interessante pelo seu baixo custo e recursos oferecidos, podendo ser associados outros recursos de hardware sempre que necessário. Com um estudo de caso voltado ao Clima Espacial, o método DFA (Análise de Flutuação Destendenciada) foi aplicado às medidas de irradiação solar (TSI) obtidas entre 1978 e 2012. O Clima Espacial foi escolhido devido à sua relevância nas condições e nos processos que ocorrem no espaço que potencialmente afetam o ambiente próximo à Terra, seres humanos e seus ativos tecnológicos. No Brasil, os estudos nesta área são dirigidos pelo programa EMBRACE (Estudos e Monitoramento Brasileiro do Clima Espacial) do INPE (Instituto Nacional de Pesquisas Espaciais). Durante a execução dos experimentos criados dentro do estudo de caso proposto, o ambiente Sentinel apresentou-se consistente e estável entre as execuções locais e as conteinerizadas. Finalmente, a abordagem adotada é geral o bastante para ser estendida a outros domínios de aplicação uma vez que permite a definição prévia de um workflow científico.
dc.description.abstract.eng.fl_txt_mv Through an e-Science paradigm computing has revolutionized the way in which diverse scientific areas conduct their research. To perform simulations/surveys there are several systems that deal with a huge amount of variables that may require various calculations and high performance computational resources. However, there is a need to eventually address issues of interoperability and execution of scientific workflows on a case-by-case. Motivated by the explosive growth of data volume, approaches in e-Science have been adopted as support in solving practical and research problems. The proposal of this research is the creation of an e-Science solution called Sentinel that allows researchers to manage and monitor scientific experiments. This provides mechanisms that allow the inclusion of new applications and total control over all your registered experiments, concentrating all your research in one place. The characteristics desired for the environment were identified from a survey and comparison of several tools used in the scientific environment and some notes/criticisms made by users. Through a Web Portal, Sentinel provides a cloud environment to support researchers in their studies that can be accessed through any device enabled to access the web. In order to exempt the researcher from the need to know the computational environment to be used, his experiments are executed in a containerization platform that deals with the interoperability and concatenation aspects of scientific workflows. The computational infrastructure used to demonstrate this project consists basically of Raspberry Pi 3 model B microcomputers. This solution is interesting because of its low cost and features offered, and other hardware resources can be associated whenever necessary.With a case study focused on the SpaceWeather, the DFA method was applied to the measurements of solar irradiation (TSI) obtained between 1978 and 2012. The Space Weather was chosen because of its relevance in the conditions and processes that occur in space that potentially affect the environment close to Earth, humans and their technological assets. In Brazil, studies in this area are conducted by the EMBRACE (Brazilian Space Weather Studies and Monitoring) program of INPE (National Institute of Space Research). During the execution of the experiments created within the proposed case study, the Sentinel environment was consistent and stable between local and containerized executions. Finally, the approach adopted is general enough to be extended to other application domains since it allows the prior definition of a scientific workflow.
description Mediante um paradigma de e-Science, a computação vem revolucionando o modo como diversas áreas científicas conduzem suas pesquisas. Para realizar simulações/pesquisas, existem diversos sistemas que lidam com uma enorme quantidade de variáveis que podem exigir vários cálculos e recursos computacionais de alto desempenho. Entretanto, há a necessidade de se lidar eventualmente com questões de interoperabilidade e execução de workflows científicos caso a caso. Motivada pelo crescimento explosivo do volume de dados, abordagens em e-Science vêm sendo adotadas como apoio na resolução de problemas práticos e de pesquisa. A proposta desta pesquisa é a criação de uma solução de e-Science chamada Sentinel que permite a pesquisadores o gerenciamento e monitoramento de experimentos científicos. Isto fornece mecanismos que possibilitam a inclusão de novas aplicações e total controle sobre todos os seus experimentos cadastrados, concentrando toda sua pesquisa em um só lugar. As características desejadas para o ambiente foram identificas a partir de um levantamento e comparação de diversas ferramentas utilizadas no meio científico e alguns apontamentos/críticas feitos por usuários. Através de um Portal Web, o Sentinel fornece um ambiente em nuvem para apoiar os pesquisadores em seus estudos que poderão ser acessados através de qualquer dispositivo habilitado para acessar a web. Para eximir do pesquisador a necessidade de conhecimento do ambiente computacional a ser utilizado, seus experimentos são executados em uma plataforma de conteinerização que trata os aspectos de interoperabilidade e concatenação de workflows científicos. A infraestrutura computacional utilizada para demonstração deste projeto é constituída basicamente de microcomputadores Raspberry Pi 3 model B. Esta solução é interessante pelo seu baixo custo e recursos oferecidos, podendo ser associados outros recursos de hardware sempre que necessário. Com um estudo de caso voltado ao Clima Espacial, o método DFA (Análise de Flutuação Destendenciada) foi aplicado às medidas de irradiação solar (TSI) obtidas entre 1978 e 2012. O Clima Espacial foi escolhido devido à sua relevância nas condições e nos processos que ocorrem no espaço que potencialmente afetam o ambiente próximo à Terra, seres humanos e seus ativos tecnológicos. No Brasil, os estudos nesta área são dirigidos pelo programa EMBRACE (Estudos e Monitoramento Brasileiro do Clima Espacial) do INPE (Instituto Nacional de Pesquisas Espaciais). Durante a execução dos experimentos criados dentro do estudo de caso proposto, o ambiente Sentinel apresentou-se consistente e estável entre as execuções locais e as conteinerizadas. Finalmente, a abordagem adotada é geral o bastante para ser estendida a outros domínios de aplicação uma vez que permite a definição prévia de um workflow científico.
publishDate 2017
dc.date.issued.fl_str_mv 2017-08-11
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
status_str publishedVersion
format doctoralThesis
dc.identifier.uri.fl_str_mv http://urlib.net/sid.inpe.br/mtc-m21b/2017/07.28.18.52
url http://urlib.net/sid.inpe.br/mtc-m21b/2017/07.28.18.52
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Instituto Nacional de Pesquisas Espaciais (INPE)
dc.publisher.program.fl_str_mv Programa de Pós-Graduação do INPE em Computação Aplicada
dc.publisher.initials.fl_str_mv INPE
dc.publisher.country.fl_str_mv BR
publisher.none.fl_str_mv Instituto Nacional de Pesquisas Espaciais (INPE)
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações do INPE
instname:Instituto Nacional de Pesquisas Espaciais (INPE)
instacron:INPE
reponame_str Biblioteca Digital de Teses e Dissertações do INPE
collection Biblioteca Digital de Teses e Dissertações do INPE
instname_str Instituto Nacional de Pesquisas Espaciais (INPE)
instacron_str INPE
institution INPE
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações do INPE - Instituto Nacional de Pesquisas Espaciais (INPE)
repository.mail.fl_str_mv
publisher_program_txtF_mv Programa de Pós-Graduação do INPE em Computação Aplicada
contributor_advisor1_txtF_mv Reinaldo Roberto Rosa
_version_ 1706805040838082560