Lane marking detection and classification using spatial-temporal feature pooling

Detalhes bibliográficos
Ano de defesa: 2023
Autor(a) principal: Torres, Lucas Tabelini
Orientador(a): Não Informado pela instituição
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Universidade Federal do Espírito Santo
BR
Mestrado em Informática
Centro Tecnológico
UFES
Programa de Pós-Graduação em Informática
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Link de acesso: http://repositorio.ufes.br/handle/10/17156
Resumo: The lane detection problem has been extensively researched in the past decades, especially since the advent of deep learning. Despite the numerous works proposing solutions to the localization task (i.e., localizing the lane boundaries in an input image), the classification task has not seen the same focus. Nonetheless, knowing the type of lane boundary, particularly that of the ego lane, can be very useful for many applications. For instance, a vehicle might not be allowed by law to overtake depending on the type of the ego lane. Beyond that, very few works take advantage of the temporal information available in the videos captured by the vehicles: most methods employ a single-frame approach. In this work, building upon the recent deep learning-based model LaneATT, we propose an approach to exploit the temporal information and integrate the classification task into the model. This is accomplished by extracting features from multiple frames using a deep neural network (instead of only one as in LaneATT). Our results show that the proposed modifications can improve the detection performance on the most recent benchmark (VIL-100) by 2.34%, establishing a new state-of-the-art. Finally, an extensive evaluation shows that it enables a high classification performance (89.37%) that serves as a future benchmark for the field.
id UFES_74a1b067b409d8a9b98977607e79321f
oai_identifier_str oai:repositorio.ufes.br:10/17156
network_acronym_str UFES
network_name_str Repositório Institucional da Universidade Federal do Espírito Santo (riUfes)
repository_id_str
spelling Lane marking detection and classification using spatial-temporal feature poolingtitle.alternativeVeículos autônomosDireção autônomaAprendizado profundoDetecção de objetos em vídeosDetecção de faixas de trânsitosubject.br-rjbnCiência da ComputaçãoThe lane detection problem has been extensively researched in the past decades, especially since the advent of deep learning. Despite the numerous works proposing solutions to the localization task (i.e., localizing the lane boundaries in an input image), the classification task has not seen the same focus. Nonetheless, knowing the type of lane boundary, particularly that of the ego lane, can be very useful for many applications. For instance, a vehicle might not be allowed by law to overtake depending on the type of the ego lane. Beyond that, very few works take advantage of the temporal information available in the videos captured by the vehicles: most methods employ a single-frame approach. In this work, building upon the recent deep learning-based model LaneATT, we propose an approach to exploit the temporal information and integrate the classification task into the model. This is accomplished by extracting features from multiple frames using a deep neural network (instead of only one as in LaneATT). Our results show that the proposed modifications can improve the detection performance on the most recent benchmark (VIL-100) by 2.34%, establishing a new state-of-the-art. Finally, an extensive evaluation shows that it enables a high classification performance (89.37%) that serves as a future benchmark for the field.O problema de detecção de faixas de trânsito tem sido pesquisado extensivamente nas últimas décadas, especialmente com o advento do aprendizado profundo. Apesar dos inúmeros trabalhos propondo soluções para a tarefa de localização (i.e., a de localizar as bordas das faixas de trânsito na imagem de entrada), a tarefa de classificação não tem recebido a mesma atenção. De qualquer maneira, ter a informação do tipo da faixa, especialmente da faixa atualmente ocupada pelo veículo, pode ser bastante útil em várias aplicações. Por exemplo, dependendo do tipo da faixa, o veículo talvez não possa (pela lei) fazer uma ultrapassagem. Além disso, poucos trabalhos exploram a informação temporal disponível nos vídeos capturados pelos veículos: a maioria faz uso da abordagem singleframe. Neste trabalho, partindo do recém proposto modelo de detecção de faixas LaneATT, nós propomos uma maneira de explorar a informação temporal e integrar a tarefa de classificação no modelo. Isso é alcançado por meio da extração de features de múltiplos frames usando uma rede neural profunda (ao invés de somente um, como no LaneATT). Os resultados mostram que as modificações propostas podem melhorar o desempenho de localização no benchmark (VIL-100) em 2.34%, estabelecendo um novo estado-daarte. Finalmente, uma avaliação extensiva mostra que também é possível obter um alto desempenho de classificação (89.37%) que serve como baseline para a área de pesquisa.Fundação Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)Universidade Federal do Espírito SantoBRMestrado em InformáticaCentro TecnológicoUFESPrograma de Pós-Graduação em InformáticaSantos, Thiago Oliveira doshttps://orcid.org/0000-0001-7607-635Xhttp://lattes.cnpq.br/5117339495064254https://orcid.org/0000-0001-5371-6692http://lattes.cnpq.br/0954275990134963Moreira, Gladston Juliano Prateshttps://orcid.org/0000-0001-7747-5926http://lattes.cnpq.br/9902619084565293Varejão, Flavio Miguelhttps://orcid.org/0000-0002-5444-1974http://lattes.cnpq.br/6501574961643171Torres, Lucas Tabelini2024-05-30T01:42:34Z2024-05-30T01:42:34Z2023-07-31info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisTextapplication/pdfhttp://repositorio.ufes.br/handle/10/17156porinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da Universidade Federal do Espírito Santo (riUfes)instname:Universidade Federal do Espírito Santo (UFES)instacron:UFES2024-09-23T07:25:14Zoai:repositorio.ufes.br:10/17156Repositório InstitucionalPUBhttp://repositorio.ufes.br/oai/requestriufes@ufes.bropendoar:21082024-09-23T07:25:14Repositório Institucional da Universidade Federal do Espírito Santo (riUfes) - Universidade Federal do Espírito Santo (UFES)false
dc.title.none.fl_str_mv Lane marking detection and classification using spatial-temporal feature pooling
title.alternative
title Lane marking detection and classification using spatial-temporal feature pooling
spellingShingle Lane marking detection and classification using spatial-temporal feature pooling
Torres, Lucas Tabelini
Veículos autônomos
Direção autônoma
Aprendizado profundo
Detecção de objetos em vídeos
Detecção de faixas de trânsito
subject.br-rjbn
Ciência da Computação
title_short Lane marking detection and classification using spatial-temporal feature pooling
title_full Lane marking detection and classification using spatial-temporal feature pooling
title_fullStr Lane marking detection and classification using spatial-temporal feature pooling
title_full_unstemmed Lane marking detection and classification using spatial-temporal feature pooling
title_sort Lane marking detection and classification using spatial-temporal feature pooling
author Torres, Lucas Tabelini
author_facet Torres, Lucas Tabelini
author_role author
dc.contributor.none.fl_str_mv Santos, Thiago Oliveira dos
https://orcid.org/0000-0001-7607-635X
http://lattes.cnpq.br/5117339495064254
https://orcid.org/0000-0001-5371-6692
http://lattes.cnpq.br/0954275990134963
Moreira, Gladston Juliano Prates
https://orcid.org/0000-0001-7747-5926
http://lattes.cnpq.br/9902619084565293
Varejão, Flavio Miguel
https://orcid.org/0000-0002-5444-1974
http://lattes.cnpq.br/6501574961643171
dc.contributor.author.fl_str_mv Torres, Lucas Tabelini
dc.subject.por.fl_str_mv Veículos autônomos
Direção autônoma
Aprendizado profundo
Detecção de objetos em vídeos
Detecção de faixas de trânsito
subject.br-rjbn
Ciência da Computação
topic Veículos autônomos
Direção autônoma
Aprendizado profundo
Detecção de objetos em vídeos
Detecção de faixas de trânsito
subject.br-rjbn
Ciência da Computação
description The lane detection problem has been extensively researched in the past decades, especially since the advent of deep learning. Despite the numerous works proposing solutions to the localization task (i.e., localizing the lane boundaries in an input image), the classification task has not seen the same focus. Nonetheless, knowing the type of lane boundary, particularly that of the ego lane, can be very useful for many applications. For instance, a vehicle might not be allowed by law to overtake depending on the type of the ego lane. Beyond that, very few works take advantage of the temporal information available in the videos captured by the vehicles: most methods employ a single-frame approach. In this work, building upon the recent deep learning-based model LaneATT, we propose an approach to exploit the temporal information and integrate the classification task into the model. This is accomplished by extracting features from multiple frames using a deep neural network (instead of only one as in LaneATT). Our results show that the proposed modifications can improve the detection performance on the most recent benchmark (VIL-100) by 2.34%, establishing a new state-of-the-art. Finally, an extensive evaluation shows that it enables a high classification performance (89.37%) that serves as a future benchmark for the field.
publishDate 2023
dc.date.none.fl_str_mv 2023-07-31
2024-05-30T01:42:34Z
2024-05-30T01:42:34Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://repositorio.ufes.br/handle/10/17156
url http://repositorio.ufes.br/handle/10/17156
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv Text
application/pdf
dc.publisher.none.fl_str_mv Universidade Federal do Espírito Santo
BR
Mestrado em Informática
Centro Tecnológico
UFES
Programa de Pós-Graduação em Informática
publisher.none.fl_str_mv Universidade Federal do Espírito Santo
BR
Mestrado em Informática
Centro Tecnológico
UFES
Programa de Pós-Graduação em Informática
dc.source.none.fl_str_mv reponame:Repositório Institucional da Universidade Federal do Espírito Santo (riUfes)
instname:Universidade Federal do Espírito Santo (UFES)
instacron:UFES
instname_str Universidade Federal do Espírito Santo (UFES)
instacron_str UFES
institution UFES
reponame_str Repositório Institucional da Universidade Federal do Espírito Santo (riUfes)
collection Repositório Institucional da Universidade Federal do Espírito Santo (riUfes)
repository.name.fl_str_mv Repositório Institucional da Universidade Federal do Espírito Santo (riUfes) - Universidade Federal do Espírito Santo (UFES)
repository.mail.fl_str_mv riufes@ufes.br
_version_ 1834479056340385792