Aprendizado de máquina para detecção de spam: um estudo comparativo de algoritmos de mineração de texto e classificadores

Detalhes bibliográficos
Ano de defesa: 2020
Autor(a) principal: Milani, Thiago Giroto [UNESP]
Orientador(a): Breve, Fabricio Aparecido [UNESP]
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Universidade Estadual Paulista (Unesp)
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Segurança computacional
Reconhecimento de padrão
Extração de características
Palavras-chave em Inglês:
Computer security
Pattern recognition
Feature extraction
Link de acesso: http://hdl.handle.net/11449/204207
Resumo: Com o grande crescimento da área de informática e inovação tecnológica (era digital), cresce cada vez mais a necessidade de dispositivos e algoritmos capazes de aprender e reconhecer padrões. A segurança computacional se torna cada vez mais essencial com toda essa evolução, pois os incidentes de segurança estão se tornando cada vez mais comum. Um exemplo são as mensagens de spam, podendo trazer conteúdos impróprios ou indesejados e causando diversos problemas ou até mesmo roubo de informação. Baseado nisso se torna cada vez mais necessário o estudo dessas duas áreas em conjunto. Aprendizado de máquina e segurança computacional, o que possibilita a criação de novos dispositivos e ferramentas capazes de reconhecer padrões de incidentes de segurança através da inteligência computacional. Assim, é proposto neste trabalho efetuar a extração de características (vetorização de texto), que tem a finalidade de efetuar a extração dos termos mais relevantes, e posteriormente combiná-los com algoritmos de aprendizado de máquina semi-supervisionados, como o objetivo de estudar qual combinação é mais viável para a detecção de spam.
id UNSP_512e6341b47b91d4e47aec73f0cabc2c
oai_identifier_str oai:repositorio.unesp.br:11449/204207
network_acronym_str UNSP
network_name_str Repositório Institucional da UNESP
repository_id_str
spelling Milani, Thiago Giroto [UNESP]Universidade Estadual Paulista (Unesp)Breve, Fabricio Aparecido [UNESP]2021-03-26T18:33:40Z2021-03-26T18:33:40Z2020-01-28http://hdl.handle.net/11449/20420733004153073P2Com o grande crescimento da área de informática e inovação tecnológica (era digital), cresce cada vez mais a necessidade de dispositivos e algoritmos capazes de aprender e reconhecer padrões. A segurança computacional se torna cada vez mais essencial com toda essa evolução, pois os incidentes de segurança estão se tornando cada vez mais comum. Um exemplo são as mensagens de spam, podendo trazer conteúdos impróprios ou indesejados e causando diversos problemas ou até mesmo roubo de informação. Baseado nisso se torna cada vez mais necessário o estudo dessas duas áreas em conjunto. Aprendizado de máquina e segurança computacional, o que possibilita a criação de novos dispositivos e ferramentas capazes de reconhecer padrões de incidentes de segurança através da inteligência computacional. Assim, é proposto neste trabalho efetuar a extração de características (vetorização de texto), que tem a finalidade de efetuar a extração dos termos mais relevantes, e posteriormente combiná-los com algoritmos de aprendizado de máquina semi-supervisionados, como o objetivo de estudar qual combinação é mais viável para a detecção de spam.The boom of technological innovation (digital era) has imposed the need for devices and algorithms that learn and recognize patterns. Driven by such evolution, computer security has become an essential, once incidents regarding computer security have been increasing even faster than technology itself. An example are spam messages, which may display inappropriate content, or even cause damage or data theft. Therefore, it is important to integrate both machine learning and computer security to create new devices and tools that are able to recognize patters of computer security incidents by using computer intelligence. To do so, this study aims to carry out a feature extraction process (text vectorization) of features that extract relevant terms and combine them as semi-supervised machine learning algorithms, analyzing which combination is the most viable to detect spam.porUniversidade Estadual Paulista (Unesp)Segurança computacionalReconhecimento de padrãoExtração de característicasComputer securityPattern recognitionFeature extractionAprendizado de máquina para detecção de spam: um estudo comparativo de algoritmos de mineração de texto e classificadoresMachine learning for spam detection: a comparative study of text mining algorithms and classifiersinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UNESPinstname:Universidade Estadual Paulista (UNESP)instacron:UNESPCiência da Computação - IGCEComputação aplicadaInteligência artificialUniversidade Estadual Paulista (UNESP), Instituto de Geociências e Ciências Exatas, Rio ClaroOnlineBanca públicaPublication4763ec56-704e-41e0-9685-b5bef5946febvirtual::238411-14763ec56-704e-41e0-9685-b5bef5946febvirtual::238411-1THUMBNAILmilani_tg_me_rcla.pdf.jpgWritten by FormatFilter org.dspace.app.mediafilter.PDFBoxThumbnail on 2023-10-09T06:05:25Z (GMT).Generated Thumbnailimage/jpeg3318https://repositorio.unesp.br/bitstreams/90d4aa34-ad74-49e7-b8c7-86bbbb4084f8/download30f9563aee8d9d71faba561cd313e691MD55falseAnonymousREADORIGINALmilani_tg_me_rcla.pdfmilani_tg_me_rcla.pdfapplication/pdf6675052https://repositorio.unesp.br/bitstreams/b717c23e-20ff-43bc-a7fb-a1d5bc39b7cd/download0b7665075e327be28dd81d920ca0591aMD53trueAnonymousREADLICENSElicense.txtWritten by org.dspace.content.LicenseUtilstext/plain; charset=utf-83086https://repositorio.unesp.br/bitstreams/d2ff5bb4-0e93-4573-9076-da506762b28f/download96541072cb78b7f612a2c7ae624d439eMD52falseAnonymousREADTEXTmilani_tg_me_rcla.pdf.txtWritten by FormatFilter org.dspace.app.mediafilter.TikaTextExtractionFilter on 2023-10-09T06:05:25Z (GMT).Extracted texttext/plain84547https://repositorio.unesp.br/bitstreams/c1925c86-9964-4545-9014-15f171e85200/download7a80dcd6063b3e1ef7b15938215f7de1MD54falseAnonymousREAD11449/2042072026-04-16T06:59:56.437381Zopen.accessoai:repositorio.unesp.br:11449/204207https://repositorio.unesp.brRepositório InstitucionalPUBhttp://repositorio.unesp.br/oai/requestrepositoriounesp@unesp.bropendoar:29462026-04-16T06:59:56Repositório Institucional da UNESP - Universidade Estadual Paulista (UNESP)falseTElDRU7Dh0EgUEFSQSBBIERJU1BPTklCSUxJWkHDh8ODTyBPTkxJTkUgREUgRElTU0VSVEHDh8ODTyBPVSBERSBURVNFIFNVQk1FVElEQSBBTyBSRVBPU0lUw5NSSU8gSU5TVElUVUNJT05BTCBVTkVTUA0KDQoxLiBBbyBjb25jb3JkYXIgY29tIGVzdGEgbGljZW7Dp2EsIGV1LCBUaGlhZ28gR2lyb3RvIE1pbGFuaSAodGhpYWdvLm1pbGFuaUB1bmVzcC5iciksIHJlc3BvbnPDoXZlbCBwZWxvIHRyYWJhbGhvIOKAnEFwcmVuZGl6YWRvIGRlIE3DoXF1aW5hIHBhcmEgRGV0ZWPDp8OjbyBkZSBTcGFtOiBVbSBFc3R1ZG8gQ29tcGFyYXRpdm8gZGUgQWxnb3JpdG1vcyBkZSBNaW5lcmHDp8OjbyBkZSBUZXh0byBlIENsYXNzaWZpY2Fkb3Jlc+KAnSBwb3IgbWltIHN1Ym1ldGlkbyBhbyBSZXBvc2l0w7NyaW8gSW5zdGl0dWNpb25hbCBVTkVTUCBlIGRlc2Vudm9sdmlkbyBubyDDom1iaXRvIGRlIHVtIGRvcyBwcm9ncmFtYXMgZGUgcMOzcy1ncmFkdWHDp8OjbyBkYSBVbml2ZXJzaWRhZGUgRXN0YWR1YWwgUGF1bGlzdGEg4oCcSsO6bGlvIGRlIE1lc3F1aXRhIEZpbGhv4oCdIChVTkVTUCk6DQoNCmEpIGF0ZXN0byBzZXIgbyByZXNwb25zw6F2ZWwgbGVnYWwgcGVsbyB0cmFiYWxobyBzdWJtZXRpZG8gZSBwZWxvcyBkYWRvcyBpbmZvcm1hZG9zIGR1cmFudGUgYSBzdWJtaXNzw6NvOw0KDQpiKSBhdGVzdG8gcXVlIG8gdHJhYmFsaG8gc3VibWV0aWRvIG7Do28gaW5mcmluZ2UgbGVpcyBkZSBkaXJlaXRvIGF1dG9yYWw7DQoNCmMpIGF0ZXN0byBxdWUgbyB0cmFiYWxobyBzdWJtZXRpZG8gbsOjbyBjb250w6ltIHF1YWxxdWVyIGluZm9ybWHDp8OjbyBjb25maWRlbmNpYWwgbWluaGEgb3UgZGUgdGVyY2Vpcm9zOw0KDQpkKSBhdGVzdG8gcXVlLCBzZSBvYnRpdmUgZmluYW5jaWFtZW50byBwYXJhIG8gZGVzZW52b2x2aW1lbnRvIGRvIHRyYWJhbGhvIHN1Ym1ldGlkbywgaW5mb3JtZWkgYSBhZ8OqbmNpYSBkZSBmb21lbnRvIGUgbyBuw7ptZXJvIGRvIGZpbmFuY2lhbWVudG8gZHVyYW50ZSBhIHN1Ym1pc3PDo287DQoNCmUpIGF0ZXN0byBxdWUgYSB2ZXJzw6NvIGRvIHRyYWJhbGhvIHByZXNlbnRlIG5vIGFycXVpdm8gc3VibWV0aWRvIMOpIGEgdmVyc8OjbyBkZWZpbml0aXZhIHF1ZSBpbmNsdWkgYXMgYWx0ZXJhw6fDtWVzIGRlY29ycmVudGVzIGRhIGRlZmVzYSwgc2UgaG91dmUgYWxndW1hOw0KDQpmKSBhdGVzdG8gcXVlIGEgdmVyc8OjbyBkbyB0cmFiYWxobyBwcmVzZW50ZSBubyBhcnF1aXZvIHN1Ym1ldGlkbyBzZXLDoSBhIG1lc21hIHZlcnPDo28gaW1wcmVzc2EgZW50cmVndWUgbmEgU2XDp8OjbyBUw6ljbmljYSBkZSBQw7NzLUdyYWR1YcOnw6NvIGNvbSBhIHF1YWwgbyBwcm9ncmFtYSBkZSBww7NzLWdyYWR1YcOnw6NvIGVtIHF1ZSBvIHRyYWJhbGhvIGZvaSBkZXNlbnZvbHZpZG8gZXN0w6EgdmluY3VsYWRvOw0KDQpnKSBjb25jZWRvIMOgIFVuaXZlcnNpZGFkZSBFc3RhZHVhbCBQYXVsaXN0YSDigJxKw7psaW8gZGUgTWVzcXVpdGEgRmlsaG/igJ0gbyBkaXJlaXRvIG7Do28gZXhjbHVzaXZvIGRlIGRpc3BvbmliaWxpemFyLCBkZSBjb3BpYXIgZSBkZSBkaXN0cmlidWlyLCBwb3IgbWVpbyBkZSBzZXVzIGFtYmllbnRlcyBpbnN0aXR1Y2lvbmFpcyBkZSBhY2Vzc28gcmVzdHJpdG8gb3UgYWJlcnRvIGFvIHDDumJsaWNvIGdlcmFsLCBzZW0gcmVzc2FyY2ltZW50byBkZSBkaXJlaXRvcyBhdXRvcmFpcywgbyB0cmFiYWxobyBzdWJtZXRpZG8gZSBvcyBkYWRvcyBpbmZvcm1hZG9zIGR1cmFudGUgYSBzdWJtaXNzw6NvOw0KDQpoKSBjb25jZWRvIMOgIFVuaXZlcnNpZGFkZSBFc3RhZHVhbCBQYXVsaXN0YSDigJxKw7psaW8gZGUgTWVzcXVpdGEgRmlsaG/igJ0gbyBkaXJlaXRvIG7Do28gZXhjbHVzaXZvIGRlIHJlYWxpemFyIHF1YWlzcXVlciBhbHRlcmHDp8O1ZXMgbmEgbcOtZGlhIG91IG5vIGZvcm1hdG8gZG8gYXJxdWl2byBwYXJhIHByb3DDs3NpdG9zIGRlIHByZXNlcnZhw6fDo28gZGlnaXRhbCwgZGUgYWNlc3NpYmlsaWRhZGUgZSBkZSBtZWxob3IgaWRlbnRpZmljYcOnw6NvIGRvIHRyYWJhbGhvIHN1Ym1ldGlkbywgZGVzZGUgcXVlIG7Do28gc2VqYSBhbHRlcmFkbyBzZXUgY29udGXDumRvIGludGVsZWN0dWFsLg0KDQoyLiBBIFVuaXZlcnNpZGFkZSBFc3RhZHVhbCBQYXVsaXN0YSDigJxKw7psaW8gZGUgTWVzcXVpdGEgRmlsaG/igJ0gc2UgY29tcHJvbWV0ZSBhOg0KDQphKSBmb3JuZWNlciB1bWEgaWRlbnRpZmljYcOnw6NvIGNsYXJhIGRvIG5vbWUgZG8gYXV0b3IgZHVyYW50ZSBhIGRpc3BvbmliaWxpemHDp8OjbywgZW0gYW1iaWVudGUgaW5zdGl0dWNpb25hbCwgZG8gdHJhYmFsaG8gc3VibWV0aWRvOw0KDQpiKSBzZSBuZWNlc3PDoXJpbywgcmVhbGl6YXIgYWx0ZXJhw6fDtWVzIG5vcyBkYWRvcyBpbmZvcm1hZG9zIGR1cmFudGUgYSBzdWJtaXNzw6NvIHBhcmEgcXVlIG1lbGhvciByZXByZXNlbnRlbSBlIGlkZW50aWZpcXVlbSBvIHRyYWJhbGhvIHNlbSwgbm8gZW50YW50bywgY29tcHJvbWV0ZXIgc2V1IGNvbnRlw7pkbyBpbnRlbGVjdHVhbDsNCg0KYykgcmVzcGVpdGFyIGEgZGVjaXPDo28gZG8gYXV0b3Igc29icmUgYSB2ZXJzw6NvIHF1ZSBkZXZlcsOhIHNlciBkaXNwb25pYmlsaXphZGEgaW1lZGlhdGFtZW50ZSBhcMOzcyBvIGFjZWl0ZSBkYSBzdWJtaXNzw6NvLCBzZWphIGVsYSBhIHZlcnPDo28gaW50ZWdyYWwgb3UgcGFyY2lhbDsNCg0KZCkgcmVzcGVpdGFyIG8gcHJhem8gZGVmaW5pZG8gcGVsbyBhdXRvciBwYXJhIGEgZGlzcG9uaWJpbGl6YcOnw6NvIGRvIGNvbnRlw7pkbyBpbnRlZ3JhbCwgY2FzbyBvIGF1dG9yIHRlbmhhIG9wdGFkbyBwZWxhIGRpc3BvbmliaWxpemHDp8OjbyBpbWVkaWF0YSBhcGVuYXMgZG8gY29udGXDumRvIHBhcmNpYWwgZSBvIHByYXpvIGRlZmluaWRvIGVzdGVqYSBkZW50cm8gZGUgMiAoZG9pcykgYW5vcyBhcMOzcyBhIGRlZmVzYTsNCg0KZSkgbsOjbyByZWFsaXphciBhbHRlcmHDp8O1ZXMgbm8gYXJxdWl2byBlbnZpYWRvIGFsw6ltIGRhcXVlbGFzIGRlc2NyaXRhcyBuZXN0YSBsaWNlbsOnYS4NCg0KU8OjbyBQYXVsbywgRnJpIE1hciAyNiAxMToyMjowMSBCUlQgMjAyMS4=
dc.title.pt.fl_str_mv Aprendizado de máquina para detecção de spam: um estudo comparativo de algoritmos de mineração de texto e classificadores
dc.title.alternative.en.fl_str_mv Machine learning for spam detection: a comparative study of text mining algorithms and classifiers
title Aprendizado de máquina para detecção de spam: um estudo comparativo de algoritmos de mineração de texto e classificadores
spellingShingle Aprendizado de máquina para detecção de spam: um estudo comparativo de algoritmos de mineração de texto e classificadores
Milani, Thiago Giroto [UNESP]
Segurança computacional
Reconhecimento de padrão
Extração de características
Computer security
Pattern recognition
Feature extraction
title_short Aprendizado de máquina para detecção de spam: um estudo comparativo de algoritmos de mineração de texto e classificadores
title_full Aprendizado de máquina para detecção de spam: um estudo comparativo de algoritmos de mineração de texto e classificadores
title_fullStr Aprendizado de máquina para detecção de spam: um estudo comparativo de algoritmos de mineração de texto e classificadores
title_full_unstemmed Aprendizado de máquina para detecção de spam: um estudo comparativo de algoritmos de mineração de texto e classificadores
title_sort Aprendizado de máquina para detecção de spam: um estudo comparativo de algoritmos de mineração de texto e classificadores
author Milani, Thiago Giroto [UNESP]
author_facet Milani, Thiago Giroto [UNESP]
author_role author
dc.contributor.institution.none.fl_str_mv Universidade Estadual Paulista (Unesp)
dc.contributor.author.fl_str_mv Milani, Thiago Giroto [UNESP]
dc.contributor.advisor1.fl_str_mv Breve, Fabricio Aparecido [UNESP]
contributor_str_mv Breve, Fabricio Aparecido [UNESP]
dc.subject.por.fl_str_mv Segurança computacional
Reconhecimento de padrão
Extração de características
topic Segurança computacional
Reconhecimento de padrão
Extração de características
Computer security
Pattern recognition
Feature extraction
dc.subject.eng.fl_str_mv Computer security
Pattern recognition
Feature extraction
description Com o grande crescimento da área de informática e inovação tecnológica (era digital), cresce cada vez mais a necessidade de dispositivos e algoritmos capazes de aprender e reconhecer padrões. A segurança computacional se torna cada vez mais essencial com toda essa evolução, pois os incidentes de segurança estão se tornando cada vez mais comum. Um exemplo são as mensagens de spam, podendo trazer conteúdos impróprios ou indesejados e causando diversos problemas ou até mesmo roubo de informação. Baseado nisso se torna cada vez mais necessário o estudo dessas duas áreas em conjunto. Aprendizado de máquina e segurança computacional, o que possibilita a criação de novos dispositivos e ferramentas capazes de reconhecer padrões de incidentes de segurança através da inteligência computacional. Assim, é proposto neste trabalho efetuar a extração de características (vetorização de texto), que tem a finalidade de efetuar a extração dos termos mais relevantes, e posteriormente combiná-los com algoritmos de aprendizado de máquina semi-supervisionados, como o objetivo de estudar qual combinação é mais viável para a detecção de spam.
publishDate 2020
dc.date.issued.fl_str_mv 2020-01-28
dc.date.accessioned.fl_str_mv 2021-03-26T18:33:40Z
dc.date.available.fl_str_mv 2021-03-26T18:33:40Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/11449/204207
dc.identifier.capes.none.fl_str_mv 33004153073P2
url http://hdl.handle.net/11449/204207
identifier_str_mv 33004153073P2
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Estadual Paulista (Unesp)
publisher.none.fl_str_mv Universidade Estadual Paulista (Unesp)
dc.source.none.fl_str_mv reponame:Repositório Institucional da UNESP
instname:Universidade Estadual Paulista (UNESP)
instacron:UNESP
instname_str Universidade Estadual Paulista (UNESP)
instacron_str UNESP
institution UNESP
reponame_str Repositório Institucional da UNESP
collection Repositório Institucional da UNESP
bitstream.url.fl_str_mv https://repositorio.unesp.br/bitstreams/90d4aa34-ad74-49e7-b8c7-86bbbb4084f8/download
https://repositorio.unesp.br/bitstreams/b717c23e-20ff-43bc-a7fb-a1d5bc39b7cd/download
https://repositorio.unesp.br/bitstreams/d2ff5bb4-0e93-4573-9076-da506762b28f/download
https://repositorio.unesp.br/bitstreams/c1925c86-9964-4545-9014-15f171e85200/download
bitstream.checksum.fl_str_mv 30f9563aee8d9d71faba561cd313e691
0b7665075e327be28dd81d920ca0591a
96541072cb78b7f612a2c7ae624d439e
7a80dcd6063b3e1ef7b15938215f7de1
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UNESP - Universidade Estadual Paulista (UNESP)
repository.mail.fl_str_mv repositoriounesp@unesp.br
_version_ 1878343295640272896

Registros relacionados