Aprendizado autossupervisionado aplicado a imagens sísmicas: análise de desempenho de treinamento in/off domain

Detalhes bibliográficos
Ano de defesa: 2024
Autor(a) principal: Vieira Júnior, Haroldo do Rosário
Orientador(a): Não Informado pela instituição
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Universidade Tecnológica Federal do Paraná
Curitiba
Brasil
Programa de Pós-Graduação em Computação Aplicada
UTFPR
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Link de acesso: http://repositorio.utfpr.edu.br/jspui/handle/1/35132
Resumo: In the oil industry, seismic data is of fundamental importance as it is used, for example, in reservoir discovery, oil production, and well abandonment stages. Due to this importance, large volumes of seismic data are generated, but it is impractical to manually label these data completely. Considering the quantity of data produced and limited annotation, self-supervised learning emerges as an option to pretrain in-domain models for subsequent application in downstream tasks. To verify the advantage of conducting self-supervised learning in the seismic image domain, a qualitative and quantitative performance comparison of in/off domain models was conducted. Using proprietary data from Petrobras, pretraining was performed using the DINO, DINOv2, and MAE methodologies. The SFM model, trained on public seismic images, was also utilized. DeiT-III, DINOv2, and random initialization were selected as off-domain models. In the qualitative evaluation, the reduced-dimensional representation of the models showed that the in-domain models were better able to separate seismic images from different sources, with the exception of the SFM model. In the quantitative evaluation, various tasks and training data subsets were tested. For seismic facies segmentation, the in-domain model had better performance in transfer learning for all tested data subsets. In fine-tuning, the best results were mostly from seismic models, although the best overall result was off-domain. In the other tasks, the majority of the results were better for in-domain models, except for geobody segmentation. In the conducted experiments, in-domain self-supervised learning proved to be beneficial. However, due to the high computational power required for pretraining, this procedure is restricted to large research groups or corporations.
id UTFPR-12_9bcae61d803e658e3eaf94cef4673423
oai_identifier_str oai:repositorio.utfpr.edu.br:1/35132
network_acronym_str UTFPR-12
network_name_str Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
repository_id_str
spelling Aprendizado autossupervisionado aplicado a imagens sísmicas: análise de desempenho de treinamento in/off domainSelf-supervised learning applied to seismic images: training performance analysis in/off domainAprendizado profundo (Aprendizado do computador)Visão por computadorTomografia sísmicaProspecção - Métodos geofísicosIndústria petrolíferaDeep learning (Machine learning)Computer visionSeismic tomographyProspecting - Geophysical methodsPetroleum, Industry and tradeCNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAOCiência da ComputaçãoIn the oil industry, seismic data is of fundamental importance as it is used, for example, in reservoir discovery, oil production, and well abandonment stages. Due to this importance, large volumes of seismic data are generated, but it is impractical to manually label these data completely. Considering the quantity of data produced and limited annotation, self-supervised learning emerges as an option to pretrain in-domain models for subsequent application in downstream tasks. To verify the advantage of conducting self-supervised learning in the seismic image domain, a qualitative and quantitative performance comparison of in/off domain models was conducted. Using proprietary data from Petrobras, pretraining was performed using the DINO, DINOv2, and MAE methodologies. The SFM model, trained on public seismic images, was also utilized. DeiT-III, DINOv2, and random initialization were selected as off-domain models. In the qualitative evaluation, the reduced-dimensional representation of the models showed that the in-domain models were better able to separate seismic images from different sources, with the exception of the SFM model. In the quantitative evaluation, various tasks and training data subsets were tested. For seismic facies segmentation, the in-domain model had better performance in transfer learning for all tested data subsets. In fine-tuning, the best results were mostly from seismic models, although the best overall result was off-domain. In the other tasks, the majority of the results were better for in-domain models, except for geobody segmentation. In the conducted experiments, in-domain self-supervised learning proved to be beneficial. However, due to the high computational power required for pretraining, this procedure is restricted to large research groups or corporations.Na indústria do petróleo os dados sísmicos são de fundamental importância, pois são usados, por exemplo, nas etapas de descobrimento de reservatórios, produção de petróleo e abandono de poço. Devido a essa importância, grandes volumes de dados sísmicos são gerados, porém é inviável realizar a anotação manual destes dados por completo. Tendo em vista a quantidade de dados produzidos e pouca anotação, o aprendizado autossupervisionado surge como uma opção para pré-treinar modelos in domain para posterior aplicação em downstream tasks. Para verificar se há vantagem em realizar aprendizado autossupervisionado em domínio de imagens sísmicas, foi feita a comparação do desempenho de modelos in/off domain de forma qualitativa e quantitativa. Utilizando dados proprietários da Petrobras, foi realizado pré-treino nas metodologias DINO, DINOv2 e MAE. Também foi utilizado o modelo SFM, treinado em imagens sísmicas públicas. O DeiT-III, o DINOv2 e a inicialização aleatória foram selecionados como modelos off domain. Na avaliação qualitativa, a representação em dimensionalidade reduzida dos modelos mostrou que os modelos in domain conseguiram separar melhor imagens sísmicas de origens distintas, com exceção do modelo SFM. Na avaliação quantitativa, foram testadas várias tarefas e subconjuntos de dados de treino. Para a segmentação de fácies sísmicas, o modelo in domain teve melhor desempenho no transfer learning para todos os subconjuntos de dados testados. No fine-tunning, os melhores resultados majoritariamente são dos modelos sísmicos, porém o melhor resultado geral foi off domain. Nas demais tarefas, majoritariamente os resultados foram melhores para os modelos in domain, com exceção da segmentação de geobody. O aprendizado autossupervisionado in domain mostrou-se benéfico nos experimentos realizados, porém, devido ao grande poder computacional necessário para realizar o pré-treinamento, tal procedimento fica restrito a grandes grupos de pesquisa ou corporações.Universidade Tecnológica Federal do ParanáCuritibaBrasilPrograma de Pós-Graduação em Computação AplicadaUTFPRGomes Junior, Luiz Celsohttps://orcid.org/0000-0002-1534-9032http://lattes.cnpq.br/0370301102971417Minetto, Rodrigohttps://orcid.org/0000-0003-2277-4632http://lattes.cnpq.br/8366112479020867Pedrini, Héliohttps://orcid.org/0000-0003-0125-630Xhttp://lattes.cnpq.br/9600140904712115Gomes Junior, Luiz Celsohttps://orcid.org/0000-0002-1534-9032http://lattes.cnpq.br/0370301102971417Silva, Ricardo Dutra dahttps://orcid.org/0000-0002-8002-8411http://lattes.cnpq.br/8512085741397097Vieira Júnior, Haroldo do Rosário2024-10-16T17:23:18Z2024-10-16T17:23:18Z2024-08-27info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfVIEIRA JÚNIOR, Haroldo do Rosário. Aprendizado autosupervisionado aplicado a imagens sísmicas: análise de desempenho de treinamento in/off domain. 2024. Dissertação (Mestrado em Computação Aplicada) - Universidade Tecnológica Federal do Paraná, Curitiba, 2024.http://repositorio.utfpr.edu.br/jspui/handle/1/35132porhttp://creativecommons.org/licenses/by/4.0/info:eu-repo/semantics/openAccessreponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))instname:Universidade Tecnológica Federal do Paraná (UTFPR)instacron:UTFPR2024-10-17T06:09:12Zoai:repositorio.utfpr.edu.br:1/35132Repositório InstitucionalPUBhttp://repositorio.utfpr.edu.br:8080/oai/requestriut@utfpr.edu.br || sibi@utfpr.edu.bropendoar:2024-10-17T06:09:12Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)false
dc.title.none.fl_str_mv Aprendizado autossupervisionado aplicado a imagens sísmicas: análise de desempenho de treinamento in/off domain
Self-supervised learning applied to seismic images: training performance analysis in/off domain
title Aprendizado autossupervisionado aplicado a imagens sísmicas: análise de desempenho de treinamento in/off domain
spellingShingle Aprendizado autossupervisionado aplicado a imagens sísmicas: análise de desempenho de treinamento in/off domain
Vieira Júnior, Haroldo do Rosário
Aprendizado profundo (Aprendizado do computador)
Visão por computador
Tomografia sísmica
Prospecção - Métodos geofísicos
Indústria petrolífera
Deep learning (Machine learning)
Computer vision
Seismic tomography
Prospecting - Geophysical methods
Petroleum, Industry and trade
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
Ciência da Computação
title_short Aprendizado autossupervisionado aplicado a imagens sísmicas: análise de desempenho de treinamento in/off domain
title_full Aprendizado autossupervisionado aplicado a imagens sísmicas: análise de desempenho de treinamento in/off domain
title_fullStr Aprendizado autossupervisionado aplicado a imagens sísmicas: análise de desempenho de treinamento in/off domain
title_full_unstemmed Aprendizado autossupervisionado aplicado a imagens sísmicas: análise de desempenho de treinamento in/off domain
title_sort Aprendizado autossupervisionado aplicado a imagens sísmicas: análise de desempenho de treinamento in/off domain
author Vieira Júnior, Haroldo do Rosário
author_facet Vieira Júnior, Haroldo do Rosário
author_role author
dc.contributor.none.fl_str_mv Gomes Junior, Luiz Celso
https://orcid.org/0000-0002-1534-9032
http://lattes.cnpq.br/0370301102971417
Minetto, Rodrigo
https://orcid.org/0000-0003-2277-4632
http://lattes.cnpq.br/8366112479020867
Pedrini, Hélio
https://orcid.org/0000-0003-0125-630X
http://lattes.cnpq.br/9600140904712115
Gomes Junior, Luiz Celso
https://orcid.org/0000-0002-1534-9032
http://lattes.cnpq.br/0370301102971417
Silva, Ricardo Dutra da
https://orcid.org/0000-0002-8002-8411
http://lattes.cnpq.br/8512085741397097
dc.contributor.author.fl_str_mv Vieira Júnior, Haroldo do Rosário
dc.subject.por.fl_str_mv Aprendizado profundo (Aprendizado do computador)
Visão por computador
Tomografia sísmica
Prospecção - Métodos geofísicos
Indústria petrolífera
Deep learning (Machine learning)
Computer vision
Seismic tomography
Prospecting - Geophysical methods
Petroleum, Industry and trade
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
Ciência da Computação
topic Aprendizado profundo (Aprendizado do computador)
Visão por computador
Tomografia sísmica
Prospecção - Métodos geofísicos
Indústria petrolífera
Deep learning (Machine learning)
Computer vision
Seismic tomography
Prospecting - Geophysical methods
Petroleum, Industry and trade
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
Ciência da Computação
description In the oil industry, seismic data is of fundamental importance as it is used, for example, in reservoir discovery, oil production, and well abandonment stages. Due to this importance, large volumes of seismic data are generated, but it is impractical to manually label these data completely. Considering the quantity of data produced and limited annotation, self-supervised learning emerges as an option to pretrain in-domain models for subsequent application in downstream tasks. To verify the advantage of conducting self-supervised learning in the seismic image domain, a qualitative and quantitative performance comparison of in/off domain models was conducted. Using proprietary data from Petrobras, pretraining was performed using the DINO, DINOv2, and MAE methodologies. The SFM model, trained on public seismic images, was also utilized. DeiT-III, DINOv2, and random initialization were selected as off-domain models. In the qualitative evaluation, the reduced-dimensional representation of the models showed that the in-domain models were better able to separate seismic images from different sources, with the exception of the SFM model. In the quantitative evaluation, various tasks and training data subsets were tested. For seismic facies segmentation, the in-domain model had better performance in transfer learning for all tested data subsets. In fine-tuning, the best results were mostly from seismic models, although the best overall result was off-domain. In the other tasks, the majority of the results were better for in-domain models, except for geobody segmentation. In the conducted experiments, in-domain self-supervised learning proved to be beneficial. However, due to the high computational power required for pretraining, this procedure is restricted to large research groups or corporations.
publishDate 2024
dc.date.none.fl_str_mv 2024-10-16T17:23:18Z
2024-10-16T17:23:18Z
2024-08-27
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv VIEIRA JÚNIOR, Haroldo do Rosário. Aprendizado autosupervisionado aplicado a imagens sísmicas: análise de desempenho de treinamento in/off domain. 2024. Dissertação (Mestrado em Computação Aplicada) - Universidade Tecnológica Federal do Paraná, Curitiba, 2024.
http://repositorio.utfpr.edu.br/jspui/handle/1/35132
identifier_str_mv VIEIRA JÚNIOR, Haroldo do Rosário. Aprendizado autosupervisionado aplicado a imagens sísmicas: análise de desempenho de treinamento in/off domain. 2024. Dissertação (Mestrado em Computação Aplicada) - Universidade Tecnológica Federal do Paraná, Curitiba, 2024.
url http://repositorio.utfpr.edu.br/jspui/handle/1/35132
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv http://creativecommons.org/licenses/by/4.0/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv http://creativecommons.org/licenses/by/4.0/
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Tecnológica Federal do Paraná
Curitiba
Brasil
Programa de Pós-Graduação em Computação Aplicada
UTFPR
publisher.none.fl_str_mv Universidade Tecnológica Federal do Paraná
Curitiba
Brasil
Programa de Pós-Graduação em Computação Aplicada
UTFPR
dc.source.none.fl_str_mv reponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
instname:Universidade Tecnológica Federal do Paraná (UTFPR)
instacron:UTFPR
instname_str Universidade Tecnológica Federal do Paraná (UTFPR)
instacron_str UTFPR
institution UTFPR
reponame_str Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
collection Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
repository.name.fl_str_mv Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)
repository.mail.fl_str_mv riut@utfpr.edu.br || sibi@utfpr.edu.br
_version_ 1850498370033942528