Uma abordagem Transfer-learning para agrupamento de dados
| Ano de defesa: | 2014 |
|---|---|
| Autor(a) principal: | |
| Orientador(a): | , |
| Banca de defesa: | |
| Tipo de documento: | Dissertação |
| Tipo de acesso: | Acesso aberto |
| Idioma: | por |
| Instituição de defesa: |
Não Informado pela instituição
|
| Programa de Pós-Graduação: |
Não Informado pela instituição
|
| Departamento: |
Não Informado pela instituição
|
| País: |
Não Informado pela instituição
|
| Palavras-chave em Português: | |
| Link de acesso: | http://repositorio.furg.br/handle/1/8166 |
Resumo: | Na vida cotidiana, as pessoas agrupam objetos de forma inconsciente, sem saber exatamente como a seleção de objetos que compõem um determinado grupo é feita. Assim, é uma característica da aprendizagem humana considerar o conhecimento obtido a partir de grupos anteriores para gerar novos agrupamentos. No entanto, a maioria dos algoritmos de agrupamento não considera esse tipo de conhecimento prévio. Neste contexto, este trabalho propõe um novo algoritmo de agrupamento que aplica técnica de Transfer Learning, a fim de transferir o conhecimento de agrupamentos anteriores para um agrupamento futuro. Todo dataset incorporado é submetido a um processo de pré-processamento, que combina as instâncias em pares e mapeia seus atributos em novas características, a fim de que esteja em um domínio comum. Em uma etapa de treinamento, aplica-se um classificador que extrai o conhecimento presente nos datasets. Deste modo, o conhecimento extraído dos datesets anteriores é repassado à tarefa de agrupar um novo dataset. Assim, a transferência de conhecimento contribui para o processo de formação de grupos, melhorando o resultado final do agrupamento. Experimentos foram realizados com dois conjuntos de datasets. O primeiro contém 10 datasets e o segundo 5 datasets. No primeiro conjunto, há datasets com diferentes atributos e número de instâncias. Todavia, o segundo conjunto possui apenas datasets de mesmas dimensões (dois atributos) e número de instâncias diferentes. Para ambos, utilizou-se o procedimento de validação cruzada. A cada iteração, um dataset do conjunto era definido com sendo o dataset teste, ou seja, que se deseja agrupar e os demais eram utilizados como bases auxiliares de conhecimento. No conjunto de 10 datasets aplicou-se um classificador baseado em árvores de decisão e, para o segundo conjunto um classificador baseado em regressão logística. |
| id |
FURG_f9b6be7f4ddafd6cd1612a6072606a5c |
|---|---|
| oai_identifier_str |
oai:repositorio.furg.br:1/8166 |
| network_acronym_str |
FURG |
| network_name_str |
Repositório Institucional da FURG (RI FURG) |
| repository_id_str |
|
| spelling |
Pereira, Igor AvilaEmmendorfer, Leonardo RamosMachado, Karina dos Santos2020-01-24T18:04:25Z2020-01-24T18:04:25Z2014PEREIRA, Igor Avila. Uma abordagem Transfer-learning para agrupamento de dados. 2014. 74 f. Dissertação (Mestrado em Engenharia da Computação) – Centro de Ciências Computacionais, Universidade Federal do Rio Grande, Rio Grande, 2014.http://repositorio.furg.br/handle/1/8166Na vida cotidiana, as pessoas agrupam objetos de forma inconsciente, sem saber exatamente como a seleção de objetos que compõem um determinado grupo é feita. Assim, é uma característica da aprendizagem humana considerar o conhecimento obtido a partir de grupos anteriores para gerar novos agrupamentos. No entanto, a maioria dos algoritmos de agrupamento não considera esse tipo de conhecimento prévio. Neste contexto, este trabalho propõe um novo algoritmo de agrupamento que aplica técnica de Transfer Learning, a fim de transferir o conhecimento de agrupamentos anteriores para um agrupamento futuro. Todo dataset incorporado é submetido a um processo de pré-processamento, que combina as instâncias em pares e mapeia seus atributos em novas características, a fim de que esteja em um domínio comum. Em uma etapa de treinamento, aplica-se um classificador que extrai o conhecimento presente nos datasets. Deste modo, o conhecimento extraído dos datesets anteriores é repassado à tarefa de agrupar um novo dataset. Assim, a transferência de conhecimento contribui para o processo de formação de grupos, melhorando o resultado final do agrupamento. Experimentos foram realizados com dois conjuntos de datasets. O primeiro contém 10 datasets e o segundo 5 datasets. No primeiro conjunto, há datasets com diferentes atributos e número de instâncias. Todavia, o segundo conjunto possui apenas datasets de mesmas dimensões (dois atributos) e número de instâncias diferentes. Para ambos, utilizou-se o procedimento de validação cruzada. A cada iteração, um dataset do conjunto era definido com sendo o dataset teste, ou seja, que se deseja agrupar e os demais eram utilizados como bases auxiliares de conhecimento. No conjunto de 10 datasets aplicou-se um classificador baseado em árvores de decisão e, para o segundo conjunto um classificador baseado em regressão logística.In everyday life, people group objects unconsciously, without knowing exactly how the selection of objects that comprise a given group is made. Thus, it is a characteristic of human learning to consider the knowledge gained from earlier groups to generate new clusters. However, most clustering algorithms do not consider this type of prior knowledge. In this context, this work proposes a new clustering algorithm applying the Learning Transfer techniques in order to transfer knowledge from previous partitions for a future partition. The datasets undergo a process of pre-processing that combines instances in pairs and maps their attributes into new features in order to be in a homogeneous domain. In a training phase, we apply a classifier that extracts the datasets knowledge. Thus, the knowledge extracted from previous datesets is passed to the task of clustering a new dataset. The knowledge transfer process contributes to the formation of groups, improving the outcome of the clustering algorithm. Experiments were performed with two sets of datasets. The first contains 10 datasets and the second 5 datasets. In the first set there are datasets with different attributes and number of instances. However, the second set has only datasets with the same dimensions (two attributes) and different number of instances. For both used the cross-validation procedure. At each iteration, a dataset was defined with the set and the test dataset, that is, a dataset we want cluster and others were used as auxiliary knowledge bases. In all 10 datasets a classifier based on decision trees was applied, and for the second set, a classifier based on logistic regression was employed.porEngenhariaCiência da computaçãoEngenharia de computaçãoTransfer learningAprendizado computacionalAgrupamento de dadosclusteringComputer engineeringEngineeringComputationTransfer LearningMachine learningClusteringUma abordagem Transfer-learning para agrupamento de dadosTransfer Learning approach to data clusteringinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da FURG (RI FURG)instname:Universidade Federal do Rio Grande (FURG)instacron:FURGLICENSElicense.txtlicense.txttext/plain; charset=utf-81748https://repositorio.furg.br/bitstreams/0e050cdc-e565-4a5d-ace7-86d808f16bb3/download8a4605be74aa9ea9d79846c1fba20a33MD52falseAnonymousREADORIGINAL29.pdf29.pdfapplication/pdf3908478https://repositorio.furg.br/bitstreams/9fd552d5-7c49-4408-87b3-330376da2412/download281449a88717ec760d81e95155090969MD51trueAnonymousREADTEXT29.pdf.txt29.pdf.txtExtracted texttext/plain102953https://repositorio.furg.br/bitstreams/079860c1-c9b7-4305-9c0d-e16add93b4f2/download6f1d051bfa8fd7382a1b914c88f49d39MD53falseAnonymousREADTHUMBNAIL29.pdf.jpg29.pdf.jpgGenerated Thumbnailimage/jpeg3333https://repositorio.furg.br/bitstreams/8c3efd71-c4c5-46fc-8343-00c3994007b6/downloade51e26178cfb56e819deacbd7c46d991MD54falseAnonymousREAD1/81662025-12-10 02:16:01.312open.accessoai:repositorio.furg.br:1/8166https://repositorio.furg.brRepositório InstitucionalPUBhttps://repositorio.furg.br/oai/request || http://200.19.254.174/oai/requestrepositorio@furg.br||sib.bdtd@furg.bropendoar:2025-12-10T05:16:01Repositório Institucional da FURG (RI FURG) - Universidade Federal do Rio Grande (FURG)falseTk9URTogUExBQ0UgWU9VUiBPV04gTElDRU5TRSBIRVJFClRoaXMgc2FtcGxlIGxpY2Vuc2UgaXMgcHJvdmlkZWQgZm9yIGluZm9ybWF0aW9uYWwgcHVycG9zZXMgb25seS4KCk5PTi1FWENMVVNJVkUgRElTVFJJQlVUSU9OIExJQ0VOU0UKCkJ5IHNpZ25pbmcgYW5kIHN1Ym1pdHRpbmcgdGhpcyBsaWNlbnNlLCB5b3UgKHRoZSBhdXRob3Iocykgb3IgY29weXJpZ2h0Cm93bmVyKSBncmFudHMgdG8gRFNwYWNlIFVuaXZlcnNpdHkgKERTVSkgdGhlIG5vbi1leGNsdXNpdmUgcmlnaHQgdG8gcmVwcm9kdWNlLAp0cmFuc2xhdGUgKGFzIGRlZmluZWQgYmVsb3cpLCBhbmQvb3IgZGlzdHJpYnV0ZSB5b3VyIHN1Ym1pc3Npb24gKGluY2x1ZGluZwp0aGUgYWJzdHJhY3QpIHdvcmxkd2lkZSBpbiBwcmludCBhbmQgZWxlY3Ryb25pYyBmb3JtYXQgYW5kIGluIGFueSBtZWRpdW0sCmluY2x1ZGluZyBidXQgbm90IGxpbWl0ZWQgdG8gYXVkaW8gb3IgdmlkZW8uCgpZb3UgYWdyZWUgdGhhdCBEU1UgbWF5LCB3aXRob3V0IGNoYW5naW5nIHRoZSBjb250ZW50LCB0cmFuc2xhdGUgdGhlCnN1Ym1pc3Npb24gdG8gYW55IG1lZGl1bSBvciBmb3JtYXQgZm9yIHRoZSBwdXJwb3NlIG9mIHByZXNlcnZhdGlvbi4KCllvdSBhbHNvIGFncmVlIHRoYXQgRFNVIG1heSBrZWVwIG1vcmUgdGhhbiBvbmUgY29weSBvZiB0aGlzIHN1Ym1pc3Npb24gZm9yCnB1cnBvc2VzIG9mIHNlY3VyaXR5LCBiYWNrLXVwIGFuZCBwcmVzZXJ2YXRpb24uCgpZb3UgcmVwcmVzZW50IHRoYXQgdGhlIHN1Ym1pc3Npb24gaXMgeW91ciBvcmlnaW5hbCB3b3JrLCBhbmQgdGhhdCB5b3UgaGF2ZQp0aGUgcmlnaHQgdG8gZ3JhbnQgdGhlIHJpZ2h0cyBjb250YWluZWQgaW4gdGhpcyBsaWNlbnNlLiBZb3UgYWxzbyByZXByZXNlbnQKdGhhdCB5b3VyIHN1Ym1pc3Npb24gZG9lcyBub3QsIHRvIHRoZSBiZXN0IG9mIHlvdXIga25vd2xlZGdlLCBpbmZyaW5nZSB1cG9uCmFueW9uZSdzIGNvcHlyaWdodC4KCklmIHRoZSBzdWJtaXNzaW9uIGNvbnRhaW5zIG1hdGVyaWFsIGZvciB3aGljaCB5b3UgZG8gbm90IGhvbGQgY29weXJpZ2h0LAp5b3UgcmVwcmVzZW50IHRoYXQgeW91IGhhdmUgb2J0YWluZWQgdGhlIHVucmVzdHJpY3RlZCBwZXJtaXNzaW9uIG9mIHRoZQpjb3B5cmlnaHQgb3duZXIgdG8gZ3JhbnQgRFNVIHRoZSByaWdodHMgcmVxdWlyZWQgYnkgdGhpcyBsaWNlbnNlLCBhbmQgdGhhdApzdWNoIHRoaXJkLXBhcnR5IG93bmVkIG1hdGVyaWFsIGlzIGNsZWFybHkgaWRlbnRpZmllZCBhbmQgYWNrbm93bGVkZ2VkCndpdGhpbiB0aGUgdGV4dCBvciBjb250ZW50IG9mIHRoZSBzdWJtaXNzaW9uLgoKSUYgVEhFIFNVQk1JU1NJT04gSVMgQkFTRUQgVVBPTiBXT1JLIFRIQVQgSEFTIEJFRU4gU1BPTlNPUkVEIE9SIFNVUFBPUlRFRApCWSBBTiBBR0VOQ1kgT1IgT1JHQU5JWkFUSU9OIE9USEVSIFRIQU4gRFNVLCBZT1UgUkVQUkVTRU5UIFRIQVQgWU9VIEhBVkUKRlVMRklMTEVEIEFOWSBSSUdIVCBPRiBSRVZJRVcgT1IgT1RIRVIgT0JMSUdBVElPTlMgUkVRVUlSRUQgQlkgU1VDSApDT05UUkFDVCBPUiBBR1JFRU1FTlQuCgpEU1Ugd2lsbCBjbGVhcmx5IGlkZW50aWZ5IHlvdXIgbmFtZShzKSBhcyB0aGUgYXV0aG9yKHMpIG9yIG93bmVyKHMpIG9mIHRoZQpzdWJtaXNzaW9uLCBhbmQgd2lsbCBub3QgbWFrZSBhbnkgYWx0ZXJhdGlvbiwgb3RoZXIgdGhhbiBhcyBhbGxvd2VkIGJ5IHRoaXMKbGljZW5zZSwgdG8geW91ciBzdWJtaXNzaW9uLgo= |
| dc.title.pt_BR.fl_str_mv |
Uma abordagem Transfer-learning para agrupamento de dados |
| dc.title.alternative.pt_BR.fl_str_mv |
Transfer Learning approach to data clustering |
| title |
Uma abordagem Transfer-learning para agrupamento de dados |
| spellingShingle |
Uma abordagem Transfer-learning para agrupamento de dados Pereira, Igor Avila Engenharia Ciência da computação Engenharia de computação Transfer learning Aprendizado computacional Agrupamento de dados clustering Computer engineering Engineering Computation Transfer Learning Machine learning Clustering |
| title_short |
Uma abordagem Transfer-learning para agrupamento de dados |
| title_full |
Uma abordagem Transfer-learning para agrupamento de dados |
| title_fullStr |
Uma abordagem Transfer-learning para agrupamento de dados |
| title_full_unstemmed |
Uma abordagem Transfer-learning para agrupamento de dados |
| title_sort |
Uma abordagem Transfer-learning para agrupamento de dados |
| author |
Pereira, Igor Avila |
| author_facet |
Pereira, Igor Avila |
| author_role |
author |
| dc.contributor.author.fl_str_mv |
Pereira, Igor Avila |
| dc.contributor.advisor1.fl_str_mv |
Emmendorfer, Leonardo Ramos Machado, Karina dos Santos |
| contributor_str_mv |
Emmendorfer, Leonardo Ramos Machado, Karina dos Santos |
| dc.subject.por.fl_str_mv |
Engenharia Ciência da computação Engenharia de computação Transfer learning Aprendizado computacional Agrupamento de dados clustering Computer engineering Engineering Computation Transfer Learning Machine learning Clustering |
| topic |
Engenharia Ciência da computação Engenharia de computação Transfer learning Aprendizado computacional Agrupamento de dados clustering Computer engineering Engineering Computation Transfer Learning Machine learning Clustering |
| description |
Na vida cotidiana, as pessoas agrupam objetos de forma inconsciente, sem saber exatamente como a seleção de objetos que compõem um determinado grupo é feita. Assim, é uma característica da aprendizagem humana considerar o conhecimento obtido a partir de grupos anteriores para gerar novos agrupamentos. No entanto, a maioria dos algoritmos de agrupamento não considera esse tipo de conhecimento prévio. Neste contexto, este trabalho propõe um novo algoritmo de agrupamento que aplica técnica de Transfer Learning, a fim de transferir o conhecimento de agrupamentos anteriores para um agrupamento futuro. Todo dataset incorporado é submetido a um processo de pré-processamento, que combina as instâncias em pares e mapeia seus atributos em novas características, a fim de que esteja em um domínio comum. Em uma etapa de treinamento, aplica-se um classificador que extrai o conhecimento presente nos datasets. Deste modo, o conhecimento extraído dos datesets anteriores é repassado à tarefa de agrupar um novo dataset. Assim, a transferência de conhecimento contribui para o processo de formação de grupos, melhorando o resultado final do agrupamento. Experimentos foram realizados com dois conjuntos de datasets. O primeiro contém 10 datasets e o segundo 5 datasets. No primeiro conjunto, há datasets com diferentes atributos e número de instâncias. Todavia, o segundo conjunto possui apenas datasets de mesmas dimensões (dois atributos) e número de instâncias diferentes. Para ambos, utilizou-se o procedimento de validação cruzada. A cada iteração, um dataset do conjunto era definido com sendo o dataset teste, ou seja, que se deseja agrupar e os demais eram utilizados como bases auxiliares de conhecimento. No conjunto de 10 datasets aplicou-se um classificador baseado em árvores de decisão e, para o segundo conjunto um classificador baseado em regressão logística. |
| publishDate |
2014 |
| dc.date.issued.fl_str_mv |
2014 |
| dc.date.accessioned.fl_str_mv |
2020-01-24T18:04:25Z |
| dc.date.available.fl_str_mv |
2020-01-24T18:04:25Z |
| dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
| dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
| format |
masterThesis |
| status_str |
publishedVersion |
| dc.identifier.citation.fl_str_mv |
PEREIRA, Igor Avila. Uma abordagem Transfer-learning para agrupamento de dados. 2014. 74 f. Dissertação (Mestrado em Engenharia da Computação) – Centro de Ciências Computacionais, Universidade Federal do Rio Grande, Rio Grande, 2014. |
| dc.identifier.uri.fl_str_mv |
http://repositorio.furg.br/handle/1/8166 |
| identifier_str_mv |
PEREIRA, Igor Avila. Uma abordagem Transfer-learning para agrupamento de dados. 2014. 74 f. Dissertação (Mestrado em Engenharia da Computação) – Centro de Ciências Computacionais, Universidade Federal do Rio Grande, Rio Grande, 2014. |
| url |
http://repositorio.furg.br/handle/1/8166 |
| dc.language.iso.fl_str_mv |
por |
| language |
por |
| dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
| eu_rights_str_mv |
openAccess |
| dc.source.none.fl_str_mv |
reponame:Repositório Institucional da FURG (RI FURG) instname:Universidade Federal do Rio Grande (FURG) instacron:FURG |
| instname_str |
Universidade Federal do Rio Grande (FURG) |
| instacron_str |
FURG |
| institution |
FURG |
| reponame_str |
Repositório Institucional da FURG (RI FURG) |
| collection |
Repositório Institucional da FURG (RI FURG) |
| bitstream.url.fl_str_mv |
https://repositorio.furg.br/bitstreams/0e050cdc-e565-4a5d-ace7-86d808f16bb3/download https://repositorio.furg.br/bitstreams/9fd552d5-7c49-4408-87b3-330376da2412/download https://repositorio.furg.br/bitstreams/079860c1-c9b7-4305-9c0d-e16add93b4f2/download https://repositorio.furg.br/bitstreams/8c3efd71-c4c5-46fc-8343-00c3994007b6/download |
| bitstream.checksum.fl_str_mv |
8a4605be74aa9ea9d79846c1fba20a33 281449a88717ec760d81e95155090969 6f1d051bfa8fd7382a1b914c88f49d39 e51e26178cfb56e819deacbd7c46d991 |
| bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 |
| repository.name.fl_str_mv |
Repositório Institucional da FURG (RI FURG) - Universidade Federal do Rio Grande (FURG) |
| repository.mail.fl_str_mv |
repositorio@furg.br||sib.bdtd@furg.br |
| _version_ |
1856849735632027648 |