Aprendizagem de conceitos não-estacionários por meio de redes neurais artificiais
Ano de defesa: | 2005 |
---|---|
Autor(a) principal: | |
Orientador(a): | |
Banca de defesa: | |
Tipo de documento: | Tese |
Tipo de acesso: | Acesso aberto |
Idioma: | por |
Instituição de defesa: |
Biblioteca Digitais de Teses e Dissertações da USP
|
Programa de Pós-Graduação: |
Não Informado pela instituição
|
Departamento: |
Não Informado pela instituição
|
País: |
Não Informado pela instituição
|
Palavras-chave em Português: | |
Link de acesso: | http://www.teses.usp.br/teses/disponiveis/43/43134/tde-06032014-162559/ |
Resumo: | Num sentido geral, qualquer sistema (natural ou artificial) que incorpore informação contida numa amostragem de dados realiza aprendizagem. Dado um conjunto D de amostras que carrega informação sobre sua fonte geradora, existem diferentes medidas para quantificar a aprendizagem sobre ela e, portanto, uma boa representação de tal fonte. Contudo, não estamos interessados numa aprendizagem que apenas torne possível a reprodução de D por um sistema aprendiz, mas principalmente numa que torne possível a geração de novos dados condizentes com a fonte geradora. Portanto, uma vez fixado um sistema (máquina ou algoritmo), aprender significa encontrar um estado do sistema aprendiz que generalize a fonte geradora de D. Em Mecânica Estatística as informações relevantes sobre os estados de qualquer sistema estão contidas em sua função de partição Z. Logo, a inferência de qualquer variável ê obtida tratando-se Z, de forma que o seu conhecimento (cálculo) representa o conhecimento dos estados do sistema, ou seja, do próprio sistema. Num problema de aprendizagem bayesiana a função de partição é representada pela distribuição posterior a D (que já tenha incorporado as informações dos exemplos), P(|D), obtida por meio da regra de Bayes P(A, B) = P(A/B)P(B). Embora a abordagem bayesiana se enquadre originalmente em modelos da Mecânica Estatística em equilíbrio, sua utilização tem sido promissora também em cenários que podem ser interpretados como modelos de mecânica estatística fora do equilíbrio termodinâmico, sendo a aprendizagem de conceitos que mudam no decorrer do processo de aprendizagem um desses problemas que têm atraído bastante atenção. O principal objetivo desta tese foi o estudo da aprendizagem bayesiana quando além do acesso ao conjunto D temos também a informação de que a fonte geradora de D é não-estacionária, introduzindo assim tempo num problema que de outra forma seria classificado como em equilíbrio. Em particular, estudamos a aprendizagem de conceitos com várias formas de dependência temporal por redes neurais (mais especificadamente, perceptrons), para a qual não é necessário modificar a verossimilhança do modelo. Assim nos concentramos na modificação do conhecimento a priori de forma a refletir a possibilidade de envelhecimento dos dados, numa escala de tempo desconhecida. Ao introduzirmos uma distribuição de probabilidades priori para essa escala de tempo, nós encontramos uma distribuição posterior efetiva com uma cauda de decaimento algébrico que resultou num novo algoritmo com uma capacidade de adaptação satisfatória. Também aplicamos esse novo algoritmo na aprendizagem com ruído e discutimos algumas novas possibilidades sobre algoritmos para perceptrons. |
id |
USP_92d9ac54172cc5b72a08157eee470b2e |
---|---|
oai_identifier_str |
oai:teses.usp.br:tde-06032014-162559 |
network_acronym_str |
USP |
network_name_str |
Biblioteca Digital de Teses e Dissertações da USP |
repository_id_str |
|
spelling |
Aprendizagem de conceitos não-estacionários por meio de redes neurais artificiaisNonstationary learning concepts using artificial neural networksMecânica estatísticaNeural networksRedes neuraisStatistical mechanicsNum sentido geral, qualquer sistema (natural ou artificial) que incorpore informação contida numa amostragem de dados realiza aprendizagem. Dado um conjunto D de amostras que carrega informação sobre sua fonte geradora, existem diferentes medidas para quantificar a aprendizagem sobre ela e, portanto, uma boa representação de tal fonte. Contudo, não estamos interessados numa aprendizagem que apenas torne possível a reprodução de D por um sistema aprendiz, mas principalmente numa que torne possível a geração de novos dados condizentes com a fonte geradora. Portanto, uma vez fixado um sistema (máquina ou algoritmo), aprender significa encontrar um estado do sistema aprendiz que generalize a fonte geradora de D. Em Mecânica Estatística as informações relevantes sobre os estados de qualquer sistema estão contidas em sua função de partição Z. Logo, a inferência de qualquer variável ê obtida tratando-se Z, de forma que o seu conhecimento (cálculo) representa o conhecimento dos estados do sistema, ou seja, do próprio sistema. Num problema de aprendizagem bayesiana a função de partição é representada pela distribuição posterior a D (que já tenha incorporado as informações dos exemplos), P(|D), obtida por meio da regra de Bayes P(A, B) = P(A/B)P(B). Embora a abordagem bayesiana se enquadre originalmente em modelos da Mecânica Estatística em equilíbrio, sua utilização tem sido promissora também em cenários que podem ser interpretados como modelos de mecânica estatística fora do equilíbrio termodinâmico, sendo a aprendizagem de conceitos que mudam no decorrer do processo de aprendizagem um desses problemas que têm atraído bastante atenção. O principal objetivo desta tese foi o estudo da aprendizagem bayesiana quando além do acesso ao conjunto D temos também a informação de que a fonte geradora de D é não-estacionária, introduzindo assim tempo num problema que de outra forma seria classificado como em equilíbrio. Em particular, estudamos a aprendizagem de conceitos com várias formas de dependência temporal por redes neurais (mais especificadamente, perceptrons), para a qual não é necessário modificar a verossimilhança do modelo. Assim nos concentramos na modificação do conhecimento a priori de forma a refletir a possibilidade de envelhecimento dos dados, numa escala de tempo desconhecida. Ao introduzirmos uma distribuição de probabilidades priori para essa escala de tempo, nós encontramos uma distribuição posterior efetiva com uma cauda de decaimento algébrico que resultou num novo algoritmo com uma capacidade de adaptação satisfatória. Também aplicamos esse novo algoritmo na aprendizagem com ruído e discutimos algumas novas possibilidades sobre algoritmos para perceptrons.In a general sense, any system which incorporates knowledge from sample data can be called a learning machine (natural or artificial). Given a set D of samples which carries information about a rule, there are different measures of how much a system has learnt about the rule and therefore comprises a good representation of its. We are not only interested in learning that can reproduce D, but also generate new consistent data. Therefore, once fixed a system (a machine or an algorithm), to learn means to find a state of the system that generalizes the source rule of D. We looked at Bayesian formulations of the learning problem, which is a formalism identical to Statistical Mechanics. Relevant knowledge about a given system is encoded in a partition function Z. Then, any inference can be made by treating Z, and if we know Z we know the system\'s properties. The function Z is the posterior distribution P(|D) in the Bayesian approach, calculated by the Bayes\' rule P(A, B) = P(A/B)P(B). Although the Bayesian theory is naturally paralleled in equilibrium Statistical Mechanics, it holds the promise of leading to results in problems that can be classified as non-equilibrium. One of this problems that has been the subject of increasing attention is that of learning non-stationary concepts The aim of this thesis was to study Bayesian learning when in addition to the knowledge to the data set D we have the information that the rule which gave rise to the samples is non-stationary, thereby introducing time into what would otherwise, have been an equilibrium problem. ln particular we studied learning of several forms of time dependent concepts by neural networks (more specifically, perceptrons), for which there is no need to change the likelihood. We concentrated on changing the prior knowledge in a way that reflects the aging possibility of the data on an unknown time scale. By introducing a prior probability distribution for the time scale, we found a effective posterior distribution with an algebraic decaying tail, which resulted in a new algorithm that was able to adapt satisfactory. We also applied the new algorithm to the learning with noise data and discussed some new possibilities about algorithms for perceptrons.Biblioteca Digitais de Teses e Dissertações da USPAlfonso, Nestor Felipe CatichaOliveira Filho, Evaldo Araújo de2005-08-04info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisapplication/pdfhttp://www.teses.usp.br/teses/disponiveis/43/43134/tde-06032014-162559/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesspor2016-07-28T16:11:47Zoai:teses.usp.br:tde-06032014-162559Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212016-07-28T16:11:47Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false |
dc.title.none.fl_str_mv |
Aprendizagem de conceitos não-estacionários por meio de redes neurais artificiais Nonstationary learning concepts using artificial neural networks |
title |
Aprendizagem de conceitos não-estacionários por meio de redes neurais artificiais |
spellingShingle |
Aprendizagem de conceitos não-estacionários por meio de redes neurais artificiais Oliveira Filho, Evaldo Araújo de Mecânica estatística Neural networks Redes neurais Statistical mechanics |
title_short |
Aprendizagem de conceitos não-estacionários por meio de redes neurais artificiais |
title_full |
Aprendizagem de conceitos não-estacionários por meio de redes neurais artificiais |
title_fullStr |
Aprendizagem de conceitos não-estacionários por meio de redes neurais artificiais |
title_full_unstemmed |
Aprendizagem de conceitos não-estacionários por meio de redes neurais artificiais |
title_sort |
Aprendizagem de conceitos não-estacionários por meio de redes neurais artificiais |
author |
Oliveira Filho, Evaldo Araújo de |
author_facet |
Oliveira Filho, Evaldo Araújo de |
author_role |
author |
dc.contributor.none.fl_str_mv |
Alfonso, Nestor Felipe Caticha |
dc.contributor.author.fl_str_mv |
Oliveira Filho, Evaldo Araújo de |
dc.subject.por.fl_str_mv |
Mecânica estatística Neural networks Redes neurais Statistical mechanics |
topic |
Mecânica estatística Neural networks Redes neurais Statistical mechanics |
description |
Num sentido geral, qualquer sistema (natural ou artificial) que incorpore informação contida numa amostragem de dados realiza aprendizagem. Dado um conjunto D de amostras que carrega informação sobre sua fonte geradora, existem diferentes medidas para quantificar a aprendizagem sobre ela e, portanto, uma boa representação de tal fonte. Contudo, não estamos interessados numa aprendizagem que apenas torne possível a reprodução de D por um sistema aprendiz, mas principalmente numa que torne possível a geração de novos dados condizentes com a fonte geradora. Portanto, uma vez fixado um sistema (máquina ou algoritmo), aprender significa encontrar um estado do sistema aprendiz que generalize a fonte geradora de D. Em Mecânica Estatística as informações relevantes sobre os estados de qualquer sistema estão contidas em sua função de partição Z. Logo, a inferência de qualquer variável ê obtida tratando-se Z, de forma que o seu conhecimento (cálculo) representa o conhecimento dos estados do sistema, ou seja, do próprio sistema. Num problema de aprendizagem bayesiana a função de partição é representada pela distribuição posterior a D (que já tenha incorporado as informações dos exemplos), P(|D), obtida por meio da regra de Bayes P(A, B) = P(A/B)P(B). Embora a abordagem bayesiana se enquadre originalmente em modelos da Mecânica Estatística em equilíbrio, sua utilização tem sido promissora também em cenários que podem ser interpretados como modelos de mecânica estatística fora do equilíbrio termodinâmico, sendo a aprendizagem de conceitos que mudam no decorrer do processo de aprendizagem um desses problemas que têm atraído bastante atenção. O principal objetivo desta tese foi o estudo da aprendizagem bayesiana quando além do acesso ao conjunto D temos também a informação de que a fonte geradora de D é não-estacionária, introduzindo assim tempo num problema que de outra forma seria classificado como em equilíbrio. Em particular, estudamos a aprendizagem de conceitos com várias formas de dependência temporal por redes neurais (mais especificadamente, perceptrons), para a qual não é necessário modificar a verossimilhança do modelo. Assim nos concentramos na modificação do conhecimento a priori de forma a refletir a possibilidade de envelhecimento dos dados, numa escala de tempo desconhecida. Ao introduzirmos uma distribuição de probabilidades priori para essa escala de tempo, nós encontramos uma distribuição posterior efetiva com uma cauda de decaimento algébrico que resultou num novo algoritmo com uma capacidade de adaptação satisfatória. Também aplicamos esse novo algoritmo na aprendizagem com ruído e discutimos algumas novas possibilidades sobre algoritmos para perceptrons. |
publishDate |
2005 |
dc.date.none.fl_str_mv |
2005-08-04 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/doctoralThesis |
format |
doctoralThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
http://www.teses.usp.br/teses/disponiveis/43/43134/tde-06032014-162559/ |
url |
http://www.teses.usp.br/teses/disponiveis/43/43134/tde-06032014-162559/ |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.relation.none.fl_str_mv |
|
dc.rights.driver.fl_str_mv |
Liberar o conteúdo para acesso público. info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
Liberar o conteúdo para acesso público. |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.coverage.none.fl_str_mv |
|
dc.publisher.none.fl_str_mv |
Biblioteca Digitais de Teses e Dissertações da USP |
publisher.none.fl_str_mv |
Biblioteca Digitais de Teses e Dissertações da USP |
dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Teses e Dissertações da USP instname:Universidade de São Paulo (USP) instacron:USP |
instname_str |
Universidade de São Paulo (USP) |
instacron_str |
USP |
institution |
USP |
reponame_str |
Biblioteca Digital de Teses e Dissertações da USP |
collection |
Biblioteca Digital de Teses e Dissertações da USP |
repository.name.fl_str_mv |
Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP) |
repository.mail.fl_str_mv |
virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br |
_version_ |
1815257938240995328 |