Um estudo sobre abordagens para avaliação out-of-sample de modelos de classificação de animais em imagens de armadilhas fotográficas

Detalhes bibliográficos
Ano de defesa: 2019
Autor(a) principal: Cunha, Francisco Fagner do Rego
Outros Autores: http://lattes.cnpq.br/4017414575809629
Orientador(a): Não Informado pela instituição
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Universidade Federal do Amazonas
Instituto de Computação
Brasil
UFAM
Programa de Pós-graduação em Informática
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Redes neurais
Armadilhas fotográficas
Aprendizagem de máquina
Particionamento dos dados
Monitoramento da vida selvagem
Deep neural networks
Camera traps
Machine learning
Dataset splitting
Wildlife monitoring
CIÊNCIAS EXATAS E DA TERRA: CIÊNCIA DA COMPUTAÇÃO
Link de acesso: https://tede.ufam.edu.br/handle/tede/7075
Resumo: A utilização de armadilhas fotográficas é uma estratégia de monitoramento da vida selvagem que consiste na instalação de câmeras com sensores de movimento que, ao serem acionados, ativam a gravação de curtas sequências de imagens ou vídeos de animais, sem interferir em seu comportamento natural. Essas câmeras obtêm milhões de imagens, mas a extração de informação é tradicionalmente feita por humanos, tarefa que demanda tempo e é dispendiosa. Técnicas de aprendizado profundo são o estado da arte para extração de informações a partir de imagens e têm sido aplicadas em diversos trabalhos para a classificação de animais em imagens de armadilhas fotográficas. Como esses modelos têm alta capacidade de representação e podem facilmente memorizar toda a base de treinamento, deve-se evitar sobreposição de imagens muito semelhantes nas bases de treino e de teste, a fim de avaliar corretamente a capacidade de generalização dos modelos. Entretanto, a similaridade entre as imagens de armadilhas fotográficas obtidas em um mesmo local em curtos períodos de tempo tem recebido pouca atenção na literatura da área. O particionamento aleatório dos dados é a abordagem mais comum utilizada nos trabalhos que investigam a classificação de espécies em imagens de armadilhas fotográfica. Porém, esse tipo de abordagem pode gerar conjuntos de teste otimistas em relação às condições reais de utilização dos modelos, fato que pode implicar em uma avaliação superestimada dos modelos treinados e pode levar à tomada de decisões equivocadas. Considerando esse contexto, neste trabalho foi realizado um estudo sobre abordagens de particionamento de dados entre treino e teste em bases de classificação de espécies de animais em imagens de armadilhas fotográficas a fim de reduzir o viés otimista na construção de conjuntos de teste. Cenários reais de utilização foram simulados e avaliados para verificar se os conjuntos de teste conseguem evidenciar a capacidade de generalização dos modelos nessas condições. Como resultado, foi especificado um conjunto de recomendações para o particionamento dos dados para avaliação out-of-sample de modelos de acordo com o protocolo utilizado pelo projeto de armadilhas fotográficas.
id UFAM_56fe35640b3e7130aece08ec1259435c
oai_identifier_str oai:https://tede.ufam.edu.br/handle/:tede/7075
network_acronym_str UFAM
network_name_str Biblioteca Digital de Teses e Dissertações da UFAM
repository_id_str
spelling Um estudo sobre abordagens para avaliação out-of-sample de modelos de classificação de animais em imagens de armadilhas fotográficasRedes neuraisArmadilhas fotográficasAprendizagem de máquinaParticionamento dos dadosMonitoramento da vida selvagemDeep neural networksCamera trapsMachine learningDataset splittingWildlife monitoringCIÊNCIAS EXATAS E DA TERRA: CIÊNCIA DA COMPUTAÇÃOA utilização de armadilhas fotográficas é uma estratégia de monitoramento da vida selvagem que consiste na instalação de câmeras com sensores de movimento que, ao serem acionados, ativam a gravação de curtas sequências de imagens ou vídeos de animais, sem interferir em seu comportamento natural. Essas câmeras obtêm milhões de imagens, mas a extração de informação é tradicionalmente feita por humanos, tarefa que demanda tempo e é dispendiosa. Técnicas de aprendizado profundo são o estado da arte para extração de informações a partir de imagens e têm sido aplicadas em diversos trabalhos para a classificação de animais em imagens de armadilhas fotográficas. Como esses modelos têm alta capacidade de representação e podem facilmente memorizar toda a base de treinamento, deve-se evitar sobreposição de imagens muito semelhantes nas bases de treino e de teste, a fim de avaliar corretamente a capacidade de generalização dos modelos. Entretanto, a similaridade entre as imagens de armadilhas fotográficas obtidas em um mesmo local em curtos períodos de tempo tem recebido pouca atenção na literatura da área. O particionamento aleatório dos dados é a abordagem mais comum utilizada nos trabalhos que investigam a classificação de espécies em imagens de armadilhas fotográfica. Porém, esse tipo de abordagem pode gerar conjuntos de teste otimistas em relação às condições reais de utilização dos modelos, fato que pode implicar em uma avaliação superestimada dos modelos treinados e pode levar à tomada de decisões equivocadas. Considerando esse contexto, neste trabalho foi realizado um estudo sobre abordagens de particionamento de dados entre treino e teste em bases de classificação de espécies de animais em imagens de armadilhas fotográficas a fim de reduzir o viés otimista na construção de conjuntos de teste. Cenários reais de utilização foram simulados e avaliados para verificar se os conjuntos de teste conseguem evidenciar a capacidade de generalização dos modelos nessas condições. Como resultado, foi especificado um conjunto de recomendações para o particionamento dos dados para avaliação out-of-sample de modelos de acordo com o protocolo utilizado pelo projeto de armadilhas fotográficas.Camera traps are a strategy for wildlife monitoring, which consists on using cameras with motion sensors that, when triggered, start recording short sequences of images or videos of animals without disturbing their natural behavior. These cameras capture millions of images, but the information extraction is traditionally performed by humans, which is an expensive and time-consuming manual task. Deep learning techniques are the state of the art for extracting information from images and have been applied in several works to perform animal species classification in camera trap images. Since these models have high representation capacity and can easily memorize the entire training set, overlapping of very similar images in training and test sets should be avoided, in order to correctly evaluate the models generalization capacity. However, the possible high similarity between camera trap images obtained at the same place in short periods of time has not received a great deal of attention in the literature. The random data splitting is the the most widely used strategy in works dealing with animal species classification in camera trap images. Nevertheless, this strategy may generate optimistic test sets when compared to the actual conditions of use, which may result in an overestimated assessment of the trained model and may lead to wrong decisions. Therefore, we conduct in this work a study related to dataset splitting approaches for camera trap datasets, in order to reduce the optimistic bias of the test sets. Real usage scenarios were simulated and evaluated to verify whether or not the test sets are able to show the generalization capacity of the models under these conditions. As a result, a set of recommendations for dataset splitting on out-of-sample evaluation of models was specified according to the protocol used by the camera trap projects.CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível SuperiorUniversidade Federal do AmazonasInstituto de ComputaçãoBrasilUFAMPrograma de Pós-graduação em InformáticaSantos, Eulanda Miranda doshttp://lattes.cnpq.br/3054990742969890Cristo, Marco Antônio Pinheiro deCarvalho, José Reginaldo HughesCarvalho, André Luiz da CostaCunha, Francisco Fagner do Regohttp://lattes.cnpq.br/40174145758096292019-04-08T18:09:05Z2019-04-01info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfCUNHA, Francisco Fagner do Rego. Um Estudo sobre Abordagens para Avaliação Out-of-sample de Modelos de Classificação de Animais em Imagens de Armadilhas Fotográficas. 2019. 78 f. Dissertação (Mestrado em Informática) - Universidade Federal do Amazonas, Manaus.https://tede.ufam.edu.br/handle/tede/7075porinfo:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da UFAMinstname:Universidade Federal do Amazonas (UFAM)instacron:UFAM2019-04-23T05:04:06Zoai:https://tede.ufam.edu.br/handle/:tede/7075Biblioteca Digital de Teses e Dissertaçõeshttp://200.129.163.131:8080/PUBhttp://200.129.163.131:8080/oai/requestddbc@ufam.edu.br||ddbc@ufam.edu.bropendoar:65922019-04-23T05:04:06Biblioteca Digital de Teses e Dissertações da UFAM - Universidade Federal do Amazonas (UFAM)false
dc.title.none.fl_str_mv Um estudo sobre abordagens para avaliação out-of-sample de modelos de classificação de animais em imagens de armadilhas fotográficas
title Um estudo sobre abordagens para avaliação out-of-sample de modelos de classificação de animais em imagens de armadilhas fotográficas
spellingShingle Um estudo sobre abordagens para avaliação out-of-sample de modelos de classificação de animais em imagens de armadilhas fotográficas
Cunha, Francisco Fagner do Rego
Redes neurais
Armadilhas fotográficas
Aprendizagem de máquina
Particionamento dos dados
Monitoramento da vida selvagem
Deep neural networks
Camera traps
Machine learning
Dataset splitting
Wildlife monitoring
CIÊNCIAS EXATAS E DA TERRA: CIÊNCIA DA COMPUTAÇÃO
title_short Um estudo sobre abordagens para avaliação out-of-sample de modelos de classificação de animais em imagens de armadilhas fotográficas
title_full Um estudo sobre abordagens para avaliação out-of-sample de modelos de classificação de animais em imagens de armadilhas fotográficas
title_fullStr Um estudo sobre abordagens para avaliação out-of-sample de modelos de classificação de animais em imagens de armadilhas fotográficas
title_full_unstemmed Um estudo sobre abordagens para avaliação out-of-sample de modelos de classificação de animais em imagens de armadilhas fotográficas
title_sort Um estudo sobre abordagens para avaliação out-of-sample de modelos de classificação de animais em imagens de armadilhas fotográficas
author Cunha, Francisco Fagner do Rego
author_facet Cunha, Francisco Fagner do Rego
http://lattes.cnpq.br/4017414575809629
author_role author
author2 http://lattes.cnpq.br/4017414575809629
author2_role author
dc.contributor.none.fl_str_mv Santos, Eulanda Miranda dos
http://lattes.cnpq.br/3054990742969890
Cristo, Marco Antônio Pinheiro de
Carvalho, José Reginaldo Hughes
Carvalho, André Luiz da Costa
dc.contributor.author.fl_str_mv Cunha, Francisco Fagner do Rego
http://lattes.cnpq.br/4017414575809629
dc.subject.por.fl_str_mv Redes neurais
Armadilhas fotográficas
Aprendizagem de máquina
Particionamento dos dados
Monitoramento da vida selvagem
Deep neural networks
Camera traps
Machine learning
Dataset splitting
Wildlife monitoring
CIÊNCIAS EXATAS E DA TERRA: CIÊNCIA DA COMPUTAÇÃO
topic Redes neurais
Armadilhas fotográficas
Aprendizagem de máquina
Particionamento dos dados
Monitoramento da vida selvagem
Deep neural networks
Camera traps
Machine learning
Dataset splitting
Wildlife monitoring
CIÊNCIAS EXATAS E DA TERRA: CIÊNCIA DA COMPUTAÇÃO
description A utilização de armadilhas fotográficas é uma estratégia de monitoramento da vida selvagem que consiste na instalação de câmeras com sensores de movimento que, ao serem acionados, ativam a gravação de curtas sequências de imagens ou vídeos de animais, sem interferir em seu comportamento natural. Essas câmeras obtêm milhões de imagens, mas a extração de informação é tradicionalmente feita por humanos, tarefa que demanda tempo e é dispendiosa. Técnicas de aprendizado profundo são o estado da arte para extração de informações a partir de imagens e têm sido aplicadas em diversos trabalhos para a classificação de animais em imagens de armadilhas fotográficas. Como esses modelos têm alta capacidade de representação e podem facilmente memorizar toda a base de treinamento, deve-se evitar sobreposição de imagens muito semelhantes nas bases de treino e de teste, a fim de avaliar corretamente a capacidade de generalização dos modelos. Entretanto, a similaridade entre as imagens de armadilhas fotográficas obtidas em um mesmo local em curtos períodos de tempo tem recebido pouca atenção na literatura da área. O particionamento aleatório dos dados é a abordagem mais comum utilizada nos trabalhos que investigam a classificação de espécies em imagens de armadilhas fotográfica. Porém, esse tipo de abordagem pode gerar conjuntos de teste otimistas em relação às condições reais de utilização dos modelos, fato que pode implicar em uma avaliação superestimada dos modelos treinados e pode levar à tomada de decisões equivocadas. Considerando esse contexto, neste trabalho foi realizado um estudo sobre abordagens de particionamento de dados entre treino e teste em bases de classificação de espécies de animais em imagens de armadilhas fotográficas a fim de reduzir o viés otimista na construção de conjuntos de teste. Cenários reais de utilização foram simulados e avaliados para verificar se os conjuntos de teste conseguem evidenciar a capacidade de generalização dos modelos nessas condições. Como resultado, foi especificado um conjunto de recomendações para o particionamento dos dados para avaliação out-of-sample de modelos de acordo com o protocolo utilizado pelo projeto de armadilhas fotográficas.
publishDate 2019
dc.date.none.fl_str_mv 2019-04-08T18:09:05Z
2019-04-01
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv CUNHA, Francisco Fagner do Rego. Um Estudo sobre Abordagens para Avaliação Out-of-sample de Modelos de Classificação de Animais em Imagens de Armadilhas Fotográficas. 2019. 78 f. Dissertação (Mestrado em Informática) - Universidade Federal do Amazonas, Manaus.
https://tede.ufam.edu.br/handle/tede/7075
identifier_str_mv CUNHA, Francisco Fagner do Rego. Um Estudo sobre Abordagens para Avaliação Out-of-sample de Modelos de Classificação de Animais em Imagens de Armadilhas Fotográficas. 2019. 78 f. Dissertação (Mestrado em Informática) - Universidade Federal do Amazonas, Manaus.
url https://tede.ufam.edu.br/handle/tede/7075
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Federal do Amazonas
Instituto de Computação
Brasil
UFAM
Programa de Pós-graduação em Informática
publisher.none.fl_str_mv Universidade Federal do Amazonas
Instituto de Computação
Brasil
UFAM
Programa de Pós-graduação em Informática
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações da UFAM
instname:Universidade Federal do Amazonas (UFAM)
instacron:UFAM
instname_str Universidade Federal do Amazonas (UFAM)
instacron_str UFAM
institution UFAM
reponame_str Biblioteca Digital de Teses e Dissertações da UFAM
collection Biblioteca Digital de Teses e Dissertações da UFAM
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da UFAM - Universidade Federal do Amazonas (UFAM)
repository.mail.fl_str_mv ddbc@ufam.edu.br||ddbc@ufam.edu.br
_version_ 1800234210340896768

Registros relacionados