Sistema informatizado de mineração para obtenção de dados referentes a ocorrências de tempestades de granizo na região sul e estado de São Paulo

Detalhes bibliográficos
Ano de defesa: 2023
Autor(a) principal: Guerra, Marcos Paulo Guimarães
Orientador(a): Não Informado pela instituição
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Universidade Tecnológica Federal do Paraná
Londrina
Brasil
Programa de Pós-Graduação em Engenharia Ambiental
UTFPR
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Link de acesso: http://repositorio.utfpr.edu.br/jspui/handle/1/32431
Resumo: Hailstorms can cause damage in various regions of the world. The southern region of Brazil is identified as one of the areas with the highest incidence of destructive hail. The damage caused by destructive hail is not limited to rural areas. It also affects urban areas, with vehicles being one of the main items damaged. Some hailstorms are so disastrous that they force municipalities to declare a state of emergency or public calamity. The historical relationship between hail damage and climate change is mentioned by many authors, with the tri-border region between Paraná, Santa Catarina, and Argentina identified as a location of high activity related to hail events and potentially favorable atmosphere for storm formation. In addition, some projections indicate a possible worsening of the damage caused by hailstorms. Prior knowledge of these events can help prepare for possible emergencies, but their detection is a very complex task. The advancement of technology has allowed for the creation/improvement of various electronic devices, such as sensors, new types of data storage, and the improvement of processing equipment, resulting in an increase in the production of various types of data, including meteorological data. Along with this, data mining techniques and algorithms for finding frequent patterns in a data set can be essential tools for improving the analysis of hailstorms and other extreme weather events. With the aim of analyzing rules of associations of meteorological events, this study used pattern mining techniques on data that were collected in an automated manner on three different platforms: REDEMET, IPMET/Unesp, and S2ID. The method used to perform automated collection was using web scraping techniques. Subsequently, the collected data was processed and saved in a MongoDB database. After a significant amount of centralized data from the three selected platforms, this data was prepared for use with the FP-Growth algorithm, responsible for extracting frequent patterns in data sets, resulting in the creation of association rule tables. At the end of the study, a dashboard was developed to present the collected data and the association rules between extreme weather events and hail. After analyzing the rules and based on the results obtained, it was found that centralizing the data is essential to verify the association of hail with other atmospheric events. Thus, the developed database can help in predicting future hail events using artificial intelligence models.
id UTFPR-12_79a9414a81fac4e2b1308d4952485f72
oai_identifier_str oai:repositorio.utfpr.edu.br:1/32431
network_acronym_str UTFPR-12
network_name_str Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
repository_id_str
spelling Sistema informatizado de mineração para obtenção de dados referentes a ocorrências de tempestades de granizo na região sul e estado de São PauloComputerized mining system to obtain data regarding the occurrences of hailstorms in the southern region and state of São PauloAprendizado do computadorMineração de dados (Computação)Dashboards (Sistemas de informação gerencial)Precipitação (Meteorologia)TempestadesMachine learningData miningDashboards (Management information systems)Precipitation (Meteorology)StormsCNPQ::ENGENHARIAS::ENGENHARIA SANITARIAEngenharia/Tecnologia/GestãoHailstorms can cause damage in various regions of the world. The southern region of Brazil is identified as one of the areas with the highest incidence of destructive hail. The damage caused by destructive hail is not limited to rural areas. It also affects urban areas, with vehicles being one of the main items damaged. Some hailstorms are so disastrous that they force municipalities to declare a state of emergency or public calamity. The historical relationship between hail damage and climate change is mentioned by many authors, with the tri-border region between Paraná, Santa Catarina, and Argentina identified as a location of high activity related to hail events and potentially favorable atmosphere for storm formation. In addition, some projections indicate a possible worsening of the damage caused by hailstorms. Prior knowledge of these events can help prepare for possible emergencies, but their detection is a very complex task. The advancement of technology has allowed for the creation/improvement of various electronic devices, such as sensors, new types of data storage, and the improvement of processing equipment, resulting in an increase in the production of various types of data, including meteorological data. Along with this, data mining techniques and algorithms for finding frequent patterns in a data set can be essential tools for improving the analysis of hailstorms and other extreme weather events. With the aim of analyzing rules of associations of meteorological events, this study used pattern mining techniques on data that were collected in an automated manner on three different platforms: REDEMET, IPMET/Unesp, and S2ID. The method used to perform automated collection was using web scraping techniques. Subsequently, the collected data was processed and saved in a MongoDB database. After a significant amount of centralized data from the three selected platforms, this data was prepared for use with the FP-Growth algorithm, responsible for extracting frequent patterns in data sets, resulting in the creation of association rule tables. At the end of the study, a dashboard was developed to present the collected data and the association rules between extreme weather events and hail. After analyzing the rules and based on the results obtained, it was found that centralizing the data is essential to verify the association of hail with other atmospheric events. Thus, the developed database can help in predicting future hail events using artificial intelligence models.Conselho Nacional do Desenvolvimento Científico e Tecnológico (CNPq)Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)As tempestades de granizo podem causar danos em várias regiões do mundo. A região sul do Brasil é apontada como uma das áreas com maior incidência de granizo destrutivo. Os danos causados pelo granizo destrutivo não se limitam a áreas rurais. Também afetam áreas urbanas, com veículos sendo um dos principais itens danificados. Algumas tempestades de granizo são tão desastrosas que forçam os municípios a declarar estado de emergência ou calamidade pública. A relação histórica entre danos causados pelo granizo e mudanças climáticas é mencionada por muitos autores, sendo a região da tríplice fronteira entre Paraná, Santa Catarina e Argentina apontada como um local de grande atividade relacionada a eventos de granizo e atmosfera potencialmente favorável para a formação de tempestades. Além disso, algumas projeções indicam um possível agravamento dos danos causados por tempestades de granizo. O conhecimento prévio estes eventos podem ajudar a se preparar para possíveis emergências, mas sua detecção é uma tarefa muito complexa. O avanço da tecnologia permitiu a criação/melhoria de vários dispositivos eletrônicos, como sensores, novos tipos de armazenamento de dados e o aprimoramento de equipamentos de processamento, resultando em um aumento na produção de dados de vários tipos, incluindo dados meteorológicos. Juntamente com isso, técnicas de mineração de dados e algoritmos para encontrar padrões frequentes em um conjunto de dados podem ser ferramentas essenciais para melhorar a análise de tempestades de granizo e outros eventos meteorológicos extremos. Com o objetivo de analisar regras de associações de eventos meteorológicos, este estudo utilizou técnicas de mineração de padrões, em dados que foram coletados de forma automatizada em três plataformas diferentes: REDEMET, IPMET/Unesp e S2ID. O método utilizado para realizar a coleta automatizada, foi utilizando técnicas de web scraping. Posteriormente, os dados coletados foram processados e salvos em um banco de dados MongoDB. Após uma quantidade significativa de dados centralizados das três plataformas selecionadas, esses dados foram preparados para uso com o algoritmo FP-Growth, responsável por extrair padrões frequentes em conjuntos de dados, resultando na criação das tabelas de regras de associação. No final do estudo, um painel (dashboard) foi desenvolvida para apresentar os dados coletados e as regras de associação entre eventos meteorologicos extremos e o granizo. Após a análise das regras e com base nos resultados obtidos, constatou-se que a centralização dos dados é fundamental para verificar a associação do granizo com outros eventos atmosféricos. Assim, o banco de dados desenvolvidos pode auxiliar na previsão de eventos de granizo futuro utilizando modelos de inteligência artificial.Universidade Tecnológica Federal do ParanáLondrinaBrasilPrograma de Pós-Graduação em Engenharia AmbientalUTFPRMartins, Jorge Albertohttps://orcid.org/0000-0003-4284-0676http://lattes.cnpq.br/8485518379872133Morais, Marcos Vinícius Bueno dehttps://orcid.org/0000-0002-0650-4037http://lattes.cnpq.br/8094852375236394Bovo, Alessandro Botelhohttps://orcid.org/0000-0001-5863-9032http://lattes.cnpq.br/5096294141072886Manfio, Edio Robertohttps://orcid.org/0000-0001-8733-7105http://lattes.cnpq.br/6903515537838311Morais, Marcos Vinícius Bueno dehttps://orcid.org/0000-0002-0650-4037http://lattes.cnpq.br/8094852375236394Guerra, Marcos Paulo Guimarães2023-09-19T18:28:27Z2023-09-19T18:28:27Z2023-04-28info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfGUERRA, Marcos Paulo Guimarães. Sistema informatizado de mineração para obtenção de dados referentes a ocorrências de tempestades de granizo na região sul e estado de São Paulo. 2023. Dissertação (Mestrado em Engenharia Ambiental) - Universidade Tecnológica Federal do Paraná, Londrina, 2023.http://repositorio.utfpr.edu.br/jspui/handle/1/32431porhttps://creativecommons.org/licenses/by-nc-nd/4.0/info:eu-repo/semantics/openAccessreponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))instname:Universidade Tecnológica Federal do Paraná (UTFPR)instacron:UTFPR2023-09-20T06:07:23Zoai:repositorio.utfpr.edu.br:1/32431Repositório InstitucionalPUBhttp://repositorio.utfpr.edu.br:8080/oai/requestriut@utfpr.edu.br || sibi@utfpr.edu.bropendoar:2023-09-20T06:07:23Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)false
dc.title.none.fl_str_mv Sistema informatizado de mineração para obtenção de dados referentes a ocorrências de tempestades de granizo na região sul e estado de São Paulo
Computerized mining system to obtain data regarding the occurrences of hailstorms in the southern region and state of São Paulo
title Sistema informatizado de mineração para obtenção de dados referentes a ocorrências de tempestades de granizo na região sul e estado de São Paulo
spellingShingle Sistema informatizado de mineração para obtenção de dados referentes a ocorrências de tempestades de granizo na região sul e estado de São Paulo
Guerra, Marcos Paulo Guimarães
Aprendizado do computador
Mineração de dados (Computação)
Dashboards (Sistemas de informação gerencial)
Precipitação (Meteorologia)
Tempestades
Machine learning
Data mining
Dashboards (Management information systems)
Precipitation (Meteorology)
Storms
CNPQ::ENGENHARIAS::ENGENHARIA SANITARIA
Engenharia/Tecnologia/Gestão
title_short Sistema informatizado de mineração para obtenção de dados referentes a ocorrências de tempestades de granizo na região sul e estado de São Paulo
title_full Sistema informatizado de mineração para obtenção de dados referentes a ocorrências de tempestades de granizo na região sul e estado de São Paulo
title_fullStr Sistema informatizado de mineração para obtenção de dados referentes a ocorrências de tempestades de granizo na região sul e estado de São Paulo
title_full_unstemmed Sistema informatizado de mineração para obtenção de dados referentes a ocorrências de tempestades de granizo na região sul e estado de São Paulo
title_sort Sistema informatizado de mineração para obtenção de dados referentes a ocorrências de tempestades de granizo na região sul e estado de São Paulo
author Guerra, Marcos Paulo Guimarães
author_facet Guerra, Marcos Paulo Guimarães
author_role author
dc.contributor.none.fl_str_mv Martins, Jorge Alberto
https://orcid.org/0000-0003-4284-0676
http://lattes.cnpq.br/8485518379872133
Morais, Marcos Vinícius Bueno de
https://orcid.org/0000-0002-0650-4037
http://lattes.cnpq.br/8094852375236394
Bovo, Alessandro Botelho
https://orcid.org/0000-0001-5863-9032
http://lattes.cnpq.br/5096294141072886
Manfio, Edio Roberto
https://orcid.org/0000-0001-8733-7105
http://lattes.cnpq.br/6903515537838311
Morais, Marcos Vinícius Bueno de
https://orcid.org/0000-0002-0650-4037
http://lattes.cnpq.br/8094852375236394
dc.contributor.author.fl_str_mv Guerra, Marcos Paulo Guimarães
dc.subject.por.fl_str_mv Aprendizado do computador
Mineração de dados (Computação)
Dashboards (Sistemas de informação gerencial)
Precipitação (Meteorologia)
Tempestades
Machine learning
Data mining
Dashboards (Management information systems)
Precipitation (Meteorology)
Storms
CNPQ::ENGENHARIAS::ENGENHARIA SANITARIA
Engenharia/Tecnologia/Gestão
topic Aprendizado do computador
Mineração de dados (Computação)
Dashboards (Sistemas de informação gerencial)
Precipitação (Meteorologia)
Tempestades
Machine learning
Data mining
Dashboards (Management information systems)
Precipitation (Meteorology)
Storms
CNPQ::ENGENHARIAS::ENGENHARIA SANITARIA
Engenharia/Tecnologia/Gestão
description Hailstorms can cause damage in various regions of the world. The southern region of Brazil is identified as one of the areas with the highest incidence of destructive hail. The damage caused by destructive hail is not limited to rural areas. It also affects urban areas, with vehicles being one of the main items damaged. Some hailstorms are so disastrous that they force municipalities to declare a state of emergency or public calamity. The historical relationship between hail damage and climate change is mentioned by many authors, with the tri-border region between Paraná, Santa Catarina, and Argentina identified as a location of high activity related to hail events and potentially favorable atmosphere for storm formation. In addition, some projections indicate a possible worsening of the damage caused by hailstorms. Prior knowledge of these events can help prepare for possible emergencies, but their detection is a very complex task. The advancement of technology has allowed for the creation/improvement of various electronic devices, such as sensors, new types of data storage, and the improvement of processing equipment, resulting in an increase in the production of various types of data, including meteorological data. Along with this, data mining techniques and algorithms for finding frequent patterns in a data set can be essential tools for improving the analysis of hailstorms and other extreme weather events. With the aim of analyzing rules of associations of meteorological events, this study used pattern mining techniques on data that were collected in an automated manner on three different platforms: REDEMET, IPMET/Unesp, and S2ID. The method used to perform automated collection was using web scraping techniques. Subsequently, the collected data was processed and saved in a MongoDB database. After a significant amount of centralized data from the three selected platforms, this data was prepared for use with the FP-Growth algorithm, responsible for extracting frequent patterns in data sets, resulting in the creation of association rule tables. At the end of the study, a dashboard was developed to present the collected data and the association rules between extreme weather events and hail. After analyzing the rules and based on the results obtained, it was found that centralizing the data is essential to verify the association of hail with other atmospheric events. Thus, the developed database can help in predicting future hail events using artificial intelligence models.
publishDate 2023
dc.date.none.fl_str_mv 2023-09-19T18:28:27Z
2023-09-19T18:28:27Z
2023-04-28
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv GUERRA, Marcos Paulo Guimarães. Sistema informatizado de mineração para obtenção de dados referentes a ocorrências de tempestades de granizo na região sul e estado de São Paulo. 2023. Dissertação (Mestrado em Engenharia Ambiental) - Universidade Tecnológica Federal do Paraná, Londrina, 2023.
http://repositorio.utfpr.edu.br/jspui/handle/1/32431
identifier_str_mv GUERRA, Marcos Paulo Guimarães. Sistema informatizado de mineração para obtenção de dados referentes a ocorrências de tempestades de granizo na região sul e estado de São Paulo. 2023. Dissertação (Mestrado em Engenharia Ambiental) - Universidade Tecnológica Federal do Paraná, Londrina, 2023.
url http://repositorio.utfpr.edu.br/jspui/handle/1/32431
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv https://creativecommons.org/licenses/by-nc-nd/4.0/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv https://creativecommons.org/licenses/by-nc-nd/4.0/
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Tecnológica Federal do Paraná
Londrina
Brasil
Programa de Pós-Graduação em Engenharia Ambiental
UTFPR
publisher.none.fl_str_mv Universidade Tecnológica Federal do Paraná
Londrina
Brasil
Programa de Pós-Graduação em Engenharia Ambiental
UTFPR
dc.source.none.fl_str_mv reponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
instname:Universidade Tecnológica Federal do Paraná (UTFPR)
instacron:UTFPR
instname_str Universidade Tecnológica Federal do Paraná (UTFPR)
instacron_str UTFPR
institution UTFPR
reponame_str Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
collection Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
repository.name.fl_str_mv Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)
repository.mail.fl_str_mv riut@utfpr.edu.br || sibi@utfpr.edu.br
_version_ 1850498302533959680