Sistema informatizado de mineração para obtenção de dados referentes a ocorrências de tempestades de granizo na região sul e estado de São Paulo
| Ano de defesa: | 2023 |
|---|---|
| Autor(a) principal: | |
| Orientador(a): | |
| Banca de defesa: | |
| Tipo de documento: | Dissertação |
| Tipo de acesso: | Acesso aberto |
| Idioma: | por |
| Instituição de defesa: |
Universidade Tecnológica Federal do Paraná
Londrina Brasil Programa de Pós-Graduação em Engenharia Ambiental UTFPR |
| Programa de Pós-Graduação: |
Não Informado pela instituição
|
| Departamento: |
Não Informado pela instituição
|
| País: |
Não Informado pela instituição
|
| Palavras-chave em Português: | |
| Link de acesso: | http://repositorio.utfpr.edu.br/jspui/handle/1/32431 |
Resumo: | Hailstorms can cause damage in various regions of the world. The southern region of Brazil is identified as one of the areas with the highest incidence of destructive hail. The damage caused by destructive hail is not limited to rural areas. It also affects urban areas, with vehicles being one of the main items damaged. Some hailstorms are so disastrous that they force municipalities to declare a state of emergency or public calamity. The historical relationship between hail damage and climate change is mentioned by many authors, with the tri-border region between Paraná, Santa Catarina, and Argentina identified as a location of high activity related to hail events and potentially favorable atmosphere for storm formation. In addition, some projections indicate a possible worsening of the damage caused by hailstorms. Prior knowledge of these events can help prepare for possible emergencies, but their detection is a very complex task. The advancement of technology has allowed for the creation/improvement of various electronic devices, such as sensors, new types of data storage, and the improvement of processing equipment, resulting in an increase in the production of various types of data, including meteorological data. Along with this, data mining techniques and algorithms for finding frequent patterns in a data set can be essential tools for improving the analysis of hailstorms and other extreme weather events. With the aim of analyzing rules of associations of meteorological events, this study used pattern mining techniques on data that were collected in an automated manner on three different platforms: REDEMET, IPMET/Unesp, and S2ID. The method used to perform automated collection was using web scraping techniques. Subsequently, the collected data was processed and saved in a MongoDB database. After a significant amount of centralized data from the three selected platforms, this data was prepared for use with the FP-Growth algorithm, responsible for extracting frequent patterns in data sets, resulting in the creation of association rule tables. At the end of the study, a dashboard was developed to present the collected data and the association rules between extreme weather events and hail. After analyzing the rules and based on the results obtained, it was found that centralizing the data is essential to verify the association of hail with other atmospheric events. Thus, the developed database can help in predicting future hail events using artificial intelligence models. |
| id |
UTFPR-12_79a9414a81fac4e2b1308d4952485f72 |
|---|---|
| oai_identifier_str |
oai:repositorio.utfpr.edu.br:1/32431 |
| network_acronym_str |
UTFPR-12 |
| network_name_str |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
| repository_id_str |
|
| spelling |
Sistema informatizado de mineração para obtenção de dados referentes a ocorrências de tempestades de granizo na região sul e estado de São PauloComputerized mining system to obtain data regarding the occurrences of hailstorms in the southern region and state of São PauloAprendizado do computadorMineração de dados (Computação)Dashboards (Sistemas de informação gerencial)Precipitação (Meteorologia)TempestadesMachine learningData miningDashboards (Management information systems)Precipitation (Meteorology)StormsCNPQ::ENGENHARIAS::ENGENHARIA SANITARIAEngenharia/Tecnologia/GestãoHailstorms can cause damage in various regions of the world. The southern region of Brazil is identified as one of the areas with the highest incidence of destructive hail. The damage caused by destructive hail is not limited to rural areas. It also affects urban areas, with vehicles being one of the main items damaged. Some hailstorms are so disastrous that they force municipalities to declare a state of emergency or public calamity. The historical relationship between hail damage and climate change is mentioned by many authors, with the tri-border region between Paraná, Santa Catarina, and Argentina identified as a location of high activity related to hail events and potentially favorable atmosphere for storm formation. In addition, some projections indicate a possible worsening of the damage caused by hailstorms. Prior knowledge of these events can help prepare for possible emergencies, but their detection is a very complex task. The advancement of technology has allowed for the creation/improvement of various electronic devices, such as sensors, new types of data storage, and the improvement of processing equipment, resulting in an increase in the production of various types of data, including meteorological data. Along with this, data mining techniques and algorithms for finding frequent patterns in a data set can be essential tools for improving the analysis of hailstorms and other extreme weather events. With the aim of analyzing rules of associations of meteorological events, this study used pattern mining techniques on data that were collected in an automated manner on three different platforms: REDEMET, IPMET/Unesp, and S2ID. The method used to perform automated collection was using web scraping techniques. Subsequently, the collected data was processed and saved in a MongoDB database. After a significant amount of centralized data from the three selected platforms, this data was prepared for use with the FP-Growth algorithm, responsible for extracting frequent patterns in data sets, resulting in the creation of association rule tables. At the end of the study, a dashboard was developed to present the collected data and the association rules between extreme weather events and hail. After analyzing the rules and based on the results obtained, it was found that centralizing the data is essential to verify the association of hail with other atmospheric events. Thus, the developed database can help in predicting future hail events using artificial intelligence models.Conselho Nacional do Desenvolvimento Científico e Tecnológico (CNPq)Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)As tempestades de granizo podem causar danos em várias regiões do mundo. A região sul do Brasil é apontada como uma das áreas com maior incidência de granizo destrutivo. Os danos causados pelo granizo destrutivo não se limitam a áreas rurais. Também afetam áreas urbanas, com veículos sendo um dos principais itens danificados. Algumas tempestades de granizo são tão desastrosas que forçam os municípios a declarar estado de emergência ou calamidade pública. A relação histórica entre danos causados pelo granizo e mudanças climáticas é mencionada por muitos autores, sendo a região da tríplice fronteira entre Paraná, Santa Catarina e Argentina apontada como um local de grande atividade relacionada a eventos de granizo e atmosfera potencialmente favorável para a formação de tempestades. Além disso, algumas projeções indicam um possível agravamento dos danos causados por tempestades de granizo. O conhecimento prévio estes eventos podem ajudar a se preparar para possíveis emergências, mas sua detecção é uma tarefa muito complexa. O avanço da tecnologia permitiu a criação/melhoria de vários dispositivos eletrônicos, como sensores, novos tipos de armazenamento de dados e o aprimoramento de equipamentos de processamento, resultando em um aumento na produção de dados de vários tipos, incluindo dados meteorológicos. Juntamente com isso, técnicas de mineração de dados e algoritmos para encontrar padrões frequentes em um conjunto de dados podem ser ferramentas essenciais para melhorar a análise de tempestades de granizo e outros eventos meteorológicos extremos. Com o objetivo de analisar regras de associações de eventos meteorológicos, este estudo utilizou técnicas de mineração de padrões, em dados que foram coletados de forma automatizada em três plataformas diferentes: REDEMET, IPMET/Unesp e S2ID. O método utilizado para realizar a coleta automatizada, foi utilizando técnicas de web scraping. Posteriormente, os dados coletados foram processados e salvos em um banco de dados MongoDB. Após uma quantidade significativa de dados centralizados das três plataformas selecionadas, esses dados foram preparados para uso com o algoritmo FP-Growth, responsável por extrair padrões frequentes em conjuntos de dados, resultando na criação das tabelas de regras de associação. No final do estudo, um painel (dashboard) foi desenvolvida para apresentar os dados coletados e as regras de associação entre eventos meteorologicos extremos e o granizo. Após a análise das regras e com base nos resultados obtidos, constatou-se que a centralização dos dados é fundamental para verificar a associação do granizo com outros eventos atmosféricos. Assim, o banco de dados desenvolvidos pode auxiliar na previsão de eventos de granizo futuro utilizando modelos de inteligência artificial.Universidade Tecnológica Federal do ParanáLondrinaBrasilPrograma de Pós-Graduação em Engenharia AmbientalUTFPRMartins, Jorge Albertohttps://orcid.org/0000-0003-4284-0676http://lattes.cnpq.br/8485518379872133Morais, Marcos Vinícius Bueno dehttps://orcid.org/0000-0002-0650-4037http://lattes.cnpq.br/8094852375236394Bovo, Alessandro Botelhohttps://orcid.org/0000-0001-5863-9032http://lattes.cnpq.br/5096294141072886Manfio, Edio Robertohttps://orcid.org/0000-0001-8733-7105http://lattes.cnpq.br/6903515537838311Morais, Marcos Vinícius Bueno dehttps://orcid.org/0000-0002-0650-4037http://lattes.cnpq.br/8094852375236394Guerra, Marcos Paulo Guimarães2023-09-19T18:28:27Z2023-09-19T18:28:27Z2023-04-28info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfGUERRA, Marcos Paulo Guimarães. Sistema informatizado de mineração para obtenção de dados referentes a ocorrências de tempestades de granizo na região sul e estado de São Paulo. 2023. Dissertação (Mestrado em Engenharia Ambiental) - Universidade Tecnológica Federal do Paraná, Londrina, 2023.http://repositorio.utfpr.edu.br/jspui/handle/1/32431porhttps://creativecommons.org/licenses/by-nc-nd/4.0/info:eu-repo/semantics/openAccessreponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))instname:Universidade Tecnológica Federal do Paraná (UTFPR)instacron:UTFPR2023-09-20T06:07:23Zoai:repositorio.utfpr.edu.br:1/32431Repositório InstitucionalPUBhttp://repositorio.utfpr.edu.br:8080/oai/requestriut@utfpr.edu.br || sibi@utfpr.edu.bropendoar:2023-09-20T06:07:23Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)false |
| dc.title.none.fl_str_mv |
Sistema informatizado de mineração para obtenção de dados referentes a ocorrências de tempestades de granizo na região sul e estado de São Paulo Computerized mining system to obtain data regarding the occurrences of hailstorms in the southern region and state of São Paulo |
| title |
Sistema informatizado de mineração para obtenção de dados referentes a ocorrências de tempestades de granizo na região sul e estado de São Paulo |
| spellingShingle |
Sistema informatizado de mineração para obtenção de dados referentes a ocorrências de tempestades de granizo na região sul e estado de São Paulo Guerra, Marcos Paulo Guimarães Aprendizado do computador Mineração de dados (Computação) Dashboards (Sistemas de informação gerencial) Precipitação (Meteorologia) Tempestades Machine learning Data mining Dashboards (Management information systems) Precipitation (Meteorology) Storms CNPQ::ENGENHARIAS::ENGENHARIA SANITARIA Engenharia/Tecnologia/Gestão |
| title_short |
Sistema informatizado de mineração para obtenção de dados referentes a ocorrências de tempestades de granizo na região sul e estado de São Paulo |
| title_full |
Sistema informatizado de mineração para obtenção de dados referentes a ocorrências de tempestades de granizo na região sul e estado de São Paulo |
| title_fullStr |
Sistema informatizado de mineração para obtenção de dados referentes a ocorrências de tempestades de granizo na região sul e estado de São Paulo |
| title_full_unstemmed |
Sistema informatizado de mineração para obtenção de dados referentes a ocorrências de tempestades de granizo na região sul e estado de São Paulo |
| title_sort |
Sistema informatizado de mineração para obtenção de dados referentes a ocorrências de tempestades de granizo na região sul e estado de São Paulo |
| author |
Guerra, Marcos Paulo Guimarães |
| author_facet |
Guerra, Marcos Paulo Guimarães |
| author_role |
author |
| dc.contributor.none.fl_str_mv |
Martins, Jorge Alberto https://orcid.org/0000-0003-4284-0676 http://lattes.cnpq.br/8485518379872133 Morais, Marcos Vinícius Bueno de https://orcid.org/0000-0002-0650-4037 http://lattes.cnpq.br/8094852375236394 Bovo, Alessandro Botelho https://orcid.org/0000-0001-5863-9032 http://lattes.cnpq.br/5096294141072886 Manfio, Edio Roberto https://orcid.org/0000-0001-8733-7105 http://lattes.cnpq.br/6903515537838311 Morais, Marcos Vinícius Bueno de https://orcid.org/0000-0002-0650-4037 http://lattes.cnpq.br/8094852375236394 |
| dc.contributor.author.fl_str_mv |
Guerra, Marcos Paulo Guimarães |
| dc.subject.por.fl_str_mv |
Aprendizado do computador Mineração de dados (Computação) Dashboards (Sistemas de informação gerencial) Precipitação (Meteorologia) Tempestades Machine learning Data mining Dashboards (Management information systems) Precipitation (Meteorology) Storms CNPQ::ENGENHARIAS::ENGENHARIA SANITARIA Engenharia/Tecnologia/Gestão |
| topic |
Aprendizado do computador Mineração de dados (Computação) Dashboards (Sistemas de informação gerencial) Precipitação (Meteorologia) Tempestades Machine learning Data mining Dashboards (Management information systems) Precipitation (Meteorology) Storms CNPQ::ENGENHARIAS::ENGENHARIA SANITARIA Engenharia/Tecnologia/Gestão |
| description |
Hailstorms can cause damage in various regions of the world. The southern region of Brazil is identified as one of the areas with the highest incidence of destructive hail. The damage caused by destructive hail is not limited to rural areas. It also affects urban areas, with vehicles being one of the main items damaged. Some hailstorms are so disastrous that they force municipalities to declare a state of emergency or public calamity. The historical relationship between hail damage and climate change is mentioned by many authors, with the tri-border region between Paraná, Santa Catarina, and Argentina identified as a location of high activity related to hail events and potentially favorable atmosphere for storm formation. In addition, some projections indicate a possible worsening of the damage caused by hailstorms. Prior knowledge of these events can help prepare for possible emergencies, but their detection is a very complex task. The advancement of technology has allowed for the creation/improvement of various electronic devices, such as sensors, new types of data storage, and the improvement of processing equipment, resulting in an increase in the production of various types of data, including meteorological data. Along with this, data mining techniques and algorithms for finding frequent patterns in a data set can be essential tools for improving the analysis of hailstorms and other extreme weather events. With the aim of analyzing rules of associations of meteorological events, this study used pattern mining techniques on data that were collected in an automated manner on three different platforms: REDEMET, IPMET/Unesp, and S2ID. The method used to perform automated collection was using web scraping techniques. Subsequently, the collected data was processed and saved in a MongoDB database. After a significant amount of centralized data from the three selected platforms, this data was prepared for use with the FP-Growth algorithm, responsible for extracting frequent patterns in data sets, resulting in the creation of association rule tables. At the end of the study, a dashboard was developed to present the collected data and the association rules between extreme weather events and hail. After analyzing the rules and based on the results obtained, it was found that centralizing the data is essential to verify the association of hail with other atmospheric events. Thus, the developed database can help in predicting future hail events using artificial intelligence models. |
| publishDate |
2023 |
| dc.date.none.fl_str_mv |
2023-09-19T18:28:27Z 2023-09-19T18:28:27Z 2023-04-28 |
| dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
| dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
| format |
masterThesis |
| status_str |
publishedVersion |
| dc.identifier.uri.fl_str_mv |
GUERRA, Marcos Paulo Guimarães. Sistema informatizado de mineração para obtenção de dados referentes a ocorrências de tempestades de granizo na região sul e estado de São Paulo. 2023. Dissertação (Mestrado em Engenharia Ambiental) - Universidade Tecnológica Federal do Paraná, Londrina, 2023. http://repositorio.utfpr.edu.br/jspui/handle/1/32431 |
| identifier_str_mv |
GUERRA, Marcos Paulo Guimarães. Sistema informatizado de mineração para obtenção de dados referentes a ocorrências de tempestades de granizo na região sul e estado de São Paulo. 2023. Dissertação (Mestrado em Engenharia Ambiental) - Universidade Tecnológica Federal do Paraná, Londrina, 2023. |
| url |
http://repositorio.utfpr.edu.br/jspui/handle/1/32431 |
| dc.language.iso.fl_str_mv |
por |
| language |
por |
| dc.rights.driver.fl_str_mv |
https://creativecommons.org/licenses/by-nc-nd/4.0/ info:eu-repo/semantics/openAccess |
| rights_invalid_str_mv |
https://creativecommons.org/licenses/by-nc-nd/4.0/ |
| eu_rights_str_mv |
openAccess |
| dc.format.none.fl_str_mv |
application/pdf |
| dc.publisher.none.fl_str_mv |
Universidade Tecnológica Federal do Paraná Londrina Brasil Programa de Pós-Graduação em Engenharia Ambiental UTFPR |
| publisher.none.fl_str_mv |
Universidade Tecnológica Federal do Paraná Londrina Brasil Programa de Pós-Graduação em Engenharia Ambiental UTFPR |
| dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) instname:Universidade Tecnológica Federal do Paraná (UTFPR) instacron:UTFPR |
| instname_str |
Universidade Tecnológica Federal do Paraná (UTFPR) |
| instacron_str |
UTFPR |
| institution |
UTFPR |
| reponame_str |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
| collection |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
| repository.name.fl_str_mv |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR) |
| repository.mail.fl_str_mv |
riut@utfpr.edu.br || sibi@utfpr.edu.br |
| _version_ |
1850498302533959680 |