Aprendizado autossupervisionado aplicado a imagens sísmicas: análise de desempenho de treinamento in/off domain
| Ano de defesa: | 2024 |
|---|---|
| Autor(a) principal: | |
| Orientador(a): | |
| Banca de defesa: | |
| Tipo de documento: | Dissertação |
| Tipo de acesso: | Acesso aberto |
| Idioma: | por |
| Instituição de defesa: |
Universidade Tecnológica Federal do Paraná
Curitiba Brasil Programa de Pós-Graduação em Computação Aplicada UTFPR |
| Programa de Pós-Graduação: |
Não Informado pela instituição
|
| Departamento: |
Não Informado pela instituição
|
| País: |
Não Informado pela instituição
|
| Palavras-chave em Português: | |
| Link de acesso: | http://repositorio.utfpr.edu.br/jspui/handle/1/35132 |
Resumo: | In the oil industry, seismic data is of fundamental importance as it is used, for example, in reservoir discovery, oil production, and well abandonment stages. Due to this importance, large volumes of seismic data are generated, but it is impractical to manually label these data completely. Considering the quantity of data produced and limited annotation, self-supervised learning emerges as an option to pretrain in-domain models for subsequent application in downstream tasks. To verify the advantage of conducting self-supervised learning in the seismic image domain, a qualitative and quantitative performance comparison of in/off domain models was conducted. Using proprietary data from Petrobras, pretraining was performed using the DINO, DINOv2, and MAE methodologies. The SFM model, trained on public seismic images, was also utilized. DeiT-III, DINOv2, and random initialization were selected as off-domain models. In the qualitative evaluation, the reduced-dimensional representation of the models showed that the in-domain models were better able to separate seismic images from different sources, with the exception of the SFM model. In the quantitative evaluation, various tasks and training data subsets were tested. For seismic facies segmentation, the in-domain model had better performance in transfer learning for all tested data subsets. In fine-tuning, the best results were mostly from seismic models, although the best overall result was off-domain. In the other tasks, the majority of the results were better for in-domain models, except for geobody segmentation. In the conducted experiments, in-domain self-supervised learning proved to be beneficial. However, due to the high computational power required for pretraining, this procedure is restricted to large research groups or corporations. |
| id |
UTFPR-12_9bcae61d803e658e3eaf94cef4673423 |
|---|---|
| oai_identifier_str |
oai:repositorio.utfpr.edu.br:1/35132 |
| network_acronym_str |
UTFPR-12 |
| network_name_str |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
| repository_id_str |
|
| spelling |
Aprendizado autossupervisionado aplicado a imagens sísmicas: análise de desempenho de treinamento in/off domainSelf-supervised learning applied to seismic images: training performance analysis in/off domainAprendizado profundo (Aprendizado do computador)Visão por computadorTomografia sísmicaProspecção - Métodos geofísicosIndústria petrolíferaDeep learning (Machine learning)Computer visionSeismic tomographyProspecting - Geophysical methodsPetroleum, Industry and tradeCNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAOCiência da ComputaçãoIn the oil industry, seismic data is of fundamental importance as it is used, for example, in reservoir discovery, oil production, and well abandonment stages. Due to this importance, large volumes of seismic data are generated, but it is impractical to manually label these data completely. Considering the quantity of data produced and limited annotation, self-supervised learning emerges as an option to pretrain in-domain models for subsequent application in downstream tasks. To verify the advantage of conducting self-supervised learning in the seismic image domain, a qualitative and quantitative performance comparison of in/off domain models was conducted. Using proprietary data from Petrobras, pretraining was performed using the DINO, DINOv2, and MAE methodologies. The SFM model, trained on public seismic images, was also utilized. DeiT-III, DINOv2, and random initialization were selected as off-domain models. In the qualitative evaluation, the reduced-dimensional representation of the models showed that the in-domain models were better able to separate seismic images from different sources, with the exception of the SFM model. In the quantitative evaluation, various tasks and training data subsets were tested. For seismic facies segmentation, the in-domain model had better performance in transfer learning for all tested data subsets. In fine-tuning, the best results were mostly from seismic models, although the best overall result was off-domain. In the other tasks, the majority of the results were better for in-domain models, except for geobody segmentation. In the conducted experiments, in-domain self-supervised learning proved to be beneficial. However, due to the high computational power required for pretraining, this procedure is restricted to large research groups or corporations.Na indústria do petróleo os dados sísmicos são de fundamental importância, pois são usados, por exemplo, nas etapas de descobrimento de reservatórios, produção de petróleo e abandono de poço. Devido a essa importância, grandes volumes de dados sísmicos são gerados, porém é inviável realizar a anotação manual destes dados por completo. Tendo em vista a quantidade de dados produzidos e pouca anotação, o aprendizado autossupervisionado surge como uma opção para pré-treinar modelos in domain para posterior aplicação em downstream tasks. Para verificar se há vantagem em realizar aprendizado autossupervisionado em domínio de imagens sísmicas, foi feita a comparação do desempenho de modelos in/off domain de forma qualitativa e quantitativa. Utilizando dados proprietários da Petrobras, foi realizado pré-treino nas metodologias DINO, DINOv2 e MAE. Também foi utilizado o modelo SFM, treinado em imagens sísmicas públicas. O DeiT-III, o DINOv2 e a inicialização aleatória foram selecionados como modelos off domain. Na avaliação qualitativa, a representação em dimensionalidade reduzida dos modelos mostrou que os modelos in domain conseguiram separar melhor imagens sísmicas de origens distintas, com exceção do modelo SFM. Na avaliação quantitativa, foram testadas várias tarefas e subconjuntos de dados de treino. Para a segmentação de fácies sísmicas, o modelo in domain teve melhor desempenho no transfer learning para todos os subconjuntos de dados testados. No fine-tunning, os melhores resultados majoritariamente são dos modelos sísmicos, porém o melhor resultado geral foi off domain. Nas demais tarefas, majoritariamente os resultados foram melhores para os modelos in domain, com exceção da segmentação de geobody. O aprendizado autossupervisionado in domain mostrou-se benéfico nos experimentos realizados, porém, devido ao grande poder computacional necessário para realizar o pré-treinamento, tal procedimento fica restrito a grandes grupos de pesquisa ou corporações.Universidade Tecnológica Federal do ParanáCuritibaBrasilPrograma de Pós-Graduação em Computação AplicadaUTFPRGomes Junior, Luiz Celsohttps://orcid.org/0000-0002-1534-9032http://lattes.cnpq.br/0370301102971417Minetto, Rodrigohttps://orcid.org/0000-0003-2277-4632http://lattes.cnpq.br/8366112479020867Pedrini, Héliohttps://orcid.org/0000-0003-0125-630Xhttp://lattes.cnpq.br/9600140904712115Gomes Junior, Luiz Celsohttps://orcid.org/0000-0002-1534-9032http://lattes.cnpq.br/0370301102971417Silva, Ricardo Dutra dahttps://orcid.org/0000-0002-8002-8411http://lattes.cnpq.br/8512085741397097Vieira Júnior, Haroldo do Rosário2024-10-16T17:23:18Z2024-10-16T17:23:18Z2024-08-27info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfVIEIRA JÚNIOR, Haroldo do Rosário. Aprendizado autosupervisionado aplicado a imagens sísmicas: análise de desempenho de treinamento in/off domain. 2024. Dissertação (Mestrado em Computação Aplicada) - Universidade Tecnológica Federal do Paraná, Curitiba, 2024.http://repositorio.utfpr.edu.br/jspui/handle/1/35132porhttp://creativecommons.org/licenses/by/4.0/info:eu-repo/semantics/openAccessreponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))instname:Universidade Tecnológica Federal do Paraná (UTFPR)instacron:UTFPR2024-10-17T06:09:12Zoai:repositorio.utfpr.edu.br:1/35132Repositório InstitucionalPUBhttp://repositorio.utfpr.edu.br:8080/oai/requestriut@utfpr.edu.br || sibi@utfpr.edu.bropendoar:2024-10-17T06:09:12Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)false |
| dc.title.none.fl_str_mv |
Aprendizado autossupervisionado aplicado a imagens sísmicas: análise de desempenho de treinamento in/off domain Self-supervised learning applied to seismic images: training performance analysis in/off domain |
| title |
Aprendizado autossupervisionado aplicado a imagens sísmicas: análise de desempenho de treinamento in/off domain |
| spellingShingle |
Aprendizado autossupervisionado aplicado a imagens sísmicas: análise de desempenho de treinamento in/off domain Vieira Júnior, Haroldo do Rosário Aprendizado profundo (Aprendizado do computador) Visão por computador Tomografia sísmica Prospecção - Métodos geofísicos Indústria petrolífera Deep learning (Machine learning) Computer vision Seismic tomography Prospecting - Geophysical methods Petroleum, Industry and trade CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO Ciência da Computação |
| title_short |
Aprendizado autossupervisionado aplicado a imagens sísmicas: análise de desempenho de treinamento in/off domain |
| title_full |
Aprendizado autossupervisionado aplicado a imagens sísmicas: análise de desempenho de treinamento in/off domain |
| title_fullStr |
Aprendizado autossupervisionado aplicado a imagens sísmicas: análise de desempenho de treinamento in/off domain |
| title_full_unstemmed |
Aprendizado autossupervisionado aplicado a imagens sísmicas: análise de desempenho de treinamento in/off domain |
| title_sort |
Aprendizado autossupervisionado aplicado a imagens sísmicas: análise de desempenho de treinamento in/off domain |
| author |
Vieira Júnior, Haroldo do Rosário |
| author_facet |
Vieira Júnior, Haroldo do Rosário |
| author_role |
author |
| dc.contributor.none.fl_str_mv |
Gomes Junior, Luiz Celso https://orcid.org/0000-0002-1534-9032 http://lattes.cnpq.br/0370301102971417 Minetto, Rodrigo https://orcid.org/0000-0003-2277-4632 http://lattes.cnpq.br/8366112479020867 Pedrini, Hélio https://orcid.org/0000-0003-0125-630X http://lattes.cnpq.br/9600140904712115 Gomes Junior, Luiz Celso https://orcid.org/0000-0002-1534-9032 http://lattes.cnpq.br/0370301102971417 Silva, Ricardo Dutra da https://orcid.org/0000-0002-8002-8411 http://lattes.cnpq.br/8512085741397097 |
| dc.contributor.author.fl_str_mv |
Vieira Júnior, Haroldo do Rosário |
| dc.subject.por.fl_str_mv |
Aprendizado profundo (Aprendizado do computador) Visão por computador Tomografia sísmica Prospecção - Métodos geofísicos Indústria petrolífera Deep learning (Machine learning) Computer vision Seismic tomography Prospecting - Geophysical methods Petroleum, Industry and trade CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO Ciência da Computação |
| topic |
Aprendizado profundo (Aprendizado do computador) Visão por computador Tomografia sísmica Prospecção - Métodos geofísicos Indústria petrolífera Deep learning (Machine learning) Computer vision Seismic tomography Prospecting - Geophysical methods Petroleum, Industry and trade CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO Ciência da Computação |
| description |
In the oil industry, seismic data is of fundamental importance as it is used, for example, in reservoir discovery, oil production, and well abandonment stages. Due to this importance, large volumes of seismic data are generated, but it is impractical to manually label these data completely. Considering the quantity of data produced and limited annotation, self-supervised learning emerges as an option to pretrain in-domain models for subsequent application in downstream tasks. To verify the advantage of conducting self-supervised learning in the seismic image domain, a qualitative and quantitative performance comparison of in/off domain models was conducted. Using proprietary data from Petrobras, pretraining was performed using the DINO, DINOv2, and MAE methodologies. The SFM model, trained on public seismic images, was also utilized. DeiT-III, DINOv2, and random initialization were selected as off-domain models. In the qualitative evaluation, the reduced-dimensional representation of the models showed that the in-domain models were better able to separate seismic images from different sources, with the exception of the SFM model. In the quantitative evaluation, various tasks and training data subsets were tested. For seismic facies segmentation, the in-domain model had better performance in transfer learning for all tested data subsets. In fine-tuning, the best results were mostly from seismic models, although the best overall result was off-domain. In the other tasks, the majority of the results were better for in-domain models, except for geobody segmentation. In the conducted experiments, in-domain self-supervised learning proved to be beneficial. However, due to the high computational power required for pretraining, this procedure is restricted to large research groups or corporations. |
| publishDate |
2024 |
| dc.date.none.fl_str_mv |
2024-10-16T17:23:18Z 2024-10-16T17:23:18Z 2024-08-27 |
| dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
| dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
| format |
masterThesis |
| status_str |
publishedVersion |
| dc.identifier.uri.fl_str_mv |
VIEIRA JÚNIOR, Haroldo do Rosário. Aprendizado autosupervisionado aplicado a imagens sísmicas: análise de desempenho de treinamento in/off domain. 2024. Dissertação (Mestrado em Computação Aplicada) - Universidade Tecnológica Federal do Paraná, Curitiba, 2024. http://repositorio.utfpr.edu.br/jspui/handle/1/35132 |
| identifier_str_mv |
VIEIRA JÚNIOR, Haroldo do Rosário. Aprendizado autosupervisionado aplicado a imagens sísmicas: análise de desempenho de treinamento in/off domain. 2024. Dissertação (Mestrado em Computação Aplicada) - Universidade Tecnológica Federal do Paraná, Curitiba, 2024. |
| url |
http://repositorio.utfpr.edu.br/jspui/handle/1/35132 |
| dc.language.iso.fl_str_mv |
por |
| language |
por |
| dc.rights.driver.fl_str_mv |
http://creativecommons.org/licenses/by/4.0/ info:eu-repo/semantics/openAccess |
| rights_invalid_str_mv |
http://creativecommons.org/licenses/by/4.0/ |
| eu_rights_str_mv |
openAccess |
| dc.format.none.fl_str_mv |
application/pdf |
| dc.publisher.none.fl_str_mv |
Universidade Tecnológica Federal do Paraná Curitiba Brasil Programa de Pós-Graduação em Computação Aplicada UTFPR |
| publisher.none.fl_str_mv |
Universidade Tecnológica Federal do Paraná Curitiba Brasil Programa de Pós-Graduação em Computação Aplicada UTFPR |
| dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) instname:Universidade Tecnológica Federal do Paraná (UTFPR) instacron:UTFPR |
| instname_str |
Universidade Tecnológica Federal do Paraná (UTFPR) |
| instacron_str |
UTFPR |
| institution |
UTFPR |
| reponame_str |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
| collection |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
| repository.name.fl_str_mv |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR) |
| repository.mail.fl_str_mv |
riut@utfpr.edu.br || sibi@utfpr.edu.br |
| _version_ |
1850498370033942528 |