Lambda calculus meets machine learning

Detalhes bibliográficos
Ano de defesa: 2023
Autor(a) principal: Flach, João Marcos
Orientador(a): Lamb, Luis da Cunha
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: eng
Instituição de defesa: Não Informado pela instituição
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Redes neurais
Aprendizado de máquina
Calculo lambda
Palavras-chave em Inglês:
Sequence-to-sequence model
Transformer model
Symbolic AI
Neuro-symbolic computation
Link de acesso: http://hdl.handle.net/10183/264011
Resumo: Redes neurais são geralmente utilizadas para resolver problemas estatísticos e calcular aproximações. No entanto, seu uso para aprendizagem simbólica vem aumentando nos últimos anos, colocando-as no domínio Neuro-Simbólico. Para estudar as capacidades das Redes Neurais nesse tipo de tarefa, vários trabalhos já exploraram a capacidade des sas redes em aprender operações matemáticas, como adição e multiplicação, inferências lógicas, como provadores de teoremas, e até execução de programas de computador. Esta última tarefa é conhecida por ser muito complexa para redes neurais. Portanto, nem sem pre os resultados são bem-sucedidos, e muitas vezes exigem a introdução de elementos enviesados no aprendizado, além de restrição no escopo de programas a serem executa dos. Neste trabalho, estaremos interessados em estudar a capacidade das Redes Neurais em aprender a executar programas como um todo. Para isso, propomos uma abordagem diferente. Ao invés de usar uma linguagem de programação imperativa, com estruturas complexas, usamos o Lambda Calculus (λ-Calculus), um formalismo matemático sim ples, mas Turing-Completo, que serve de base para as linguagens funcionais modernas. Como a execução de um programa em λ-Calculus é baseada em reduções, mostraremos que basta aprender a fazer essas reduções para que possamos executar qualquer pro grama.
id URGS_8b53af74a45767b222ffb4e9a8e7af41
oai_identifier_str oai:www.lume.ufrgs.br:10183/264011
network_acronym_str URGS
network_name_str Biblioteca Digital de Teses e Dissertações da UFRGS
repository_id_str
spelling Flach, João MarcosLamb, Luis da Cunha2023-08-26T03:35:29Z2023http://hdl.handle.net/10183/264011001175975Redes neurais são geralmente utilizadas para resolver problemas estatísticos e calcular aproximações. No entanto, seu uso para aprendizagem simbólica vem aumentando nos últimos anos, colocando-as no domínio Neuro-Simbólico. Para estudar as capacidades das Redes Neurais nesse tipo de tarefa, vários trabalhos já exploraram a capacidade des sas redes em aprender operações matemáticas, como adição e multiplicação, inferências lógicas, como provadores de teoremas, e até execução de programas de computador. Esta última tarefa é conhecida por ser muito complexa para redes neurais. Portanto, nem sem pre os resultados são bem-sucedidos, e muitas vezes exigem a introdução de elementos enviesados no aprendizado, além de restrição no escopo de programas a serem executa dos. Neste trabalho, estaremos interessados em estudar a capacidade das Redes Neurais em aprender a executar programas como um todo. Para isso, propomos uma abordagem diferente. Ao invés de usar uma linguagem de programação imperativa, com estruturas complexas, usamos o Lambda Calculus (λ-Calculus), um formalismo matemático sim ples, mas Turing-Completo, que serve de base para as linguagens funcionais modernas. Como a execução de um programa em λ-Calculus é baseada em reduções, mostraremos que basta aprender a fazer essas reduções para que possamos executar qualquer pro grama.Neural Networks are usually used in the context of machine learning to solve statistical problems and calculate approximations. However, its use for symbolic learning has been increasing in the past years, placing them in the Neurosymbolic realm. To study the capabilities of Neural Networks in this kind of task, several works have already explored the ability of these networks to learn mathematical operations, such as addition and multiplication, logic inference, such as theorem provers, and even execution of computer programs. The latter is known to be a task too complex for neural networks. Therefore, the results were not always successful and often required the introduction of biased elements in the learning process, in addition to restricting the scope of possible programs to be executed. In this work, we will be interested in studying the ability of Neural Networks to learn how to execute programs as a whole. To achieve this, we propose a di erent approach. Instead of using an imperative pro gramming language with complex structures, we use the Lambda Calculus (λ-Calculus), a simple yet Turing-Complete mathematical formalism, which serves as the basis for modern functional languages. As the execution of a program in λ-Calculus is based on reductions, we will show that learning how to perform these reductions is enough to execute any program.application/pdfengRedes neuraisAprendizado de máquinaCalculo lambdaSequence-to-sequence modelTransformer modelSymbolic AINeuro-symbolic computationLambda calculus meets machine learningCálculo lambda encontra aprendizado de máquina info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisUniversidade Federal do Rio Grande do SulInstituto de InformáticaPrograma de Pós-Graduação em ComputaçãoPorto Alegre, BR-RS2023mestradoinfo:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da UFRGSinstname:Universidade Federal do Rio Grande do Sul (UFRGS)instacron:UFRGSTEXT001175975.pdf.txt001175975.pdf.txtExtracted Texttext/plain167701http://www.lume.ufrgs.br/bitstream/10183/264011/2/001175975.pdf.txte1bb91b94f1f9ae835795ce6fcabaf46MD52ORIGINAL001175975.pdfTexto completo (inglês)application/pdf1921133http://www.lume.ufrgs.br/bitstream/10183/264011/1/001175975.pdf5df9ade9f41d921cc3302b60ab5b1abcMD5110183/2640112023-08-27 03:43:18.015148oai:www.lume.ufrgs.br:10183/264011Biblioteca Digital de Teses e Dissertaçõeshttps://lume.ufrgs.br/handle/10183/2PUBhttps://lume.ufrgs.br/oai/requestlume@ufrgs.br||lume@ufrgs.bropendoar:18532023-08-27T06:43:18Biblioteca Digital de Teses e Dissertações da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)false
dc.title.pt_BR.fl_str_mv Lambda calculus meets machine learning
dc.title.alternative.pt.fl_str_mv Cálculo lambda encontra aprendizado de máquina
title Lambda calculus meets machine learning
spellingShingle Lambda calculus meets machine learning
Flach, João Marcos
Redes neurais
Aprendizado de máquina
Calculo lambda
Sequence-to-sequence model
Transformer model
Symbolic AI
Neuro-symbolic computation
title_short Lambda calculus meets machine learning
title_full Lambda calculus meets machine learning
title_fullStr Lambda calculus meets machine learning
title_full_unstemmed Lambda calculus meets machine learning
title_sort Lambda calculus meets machine learning
author Flach, João Marcos
author_facet Flach, João Marcos
author_role author
dc.contributor.author.fl_str_mv Flach, João Marcos
dc.contributor.advisor1.fl_str_mv Lamb, Luis da Cunha
contributor_str_mv Lamb, Luis da Cunha
dc.subject.por.fl_str_mv Redes neurais
Aprendizado de máquina
Calculo lambda
topic Redes neurais
Aprendizado de máquina
Calculo lambda
Sequence-to-sequence model
Transformer model
Symbolic AI
Neuro-symbolic computation
dc.subject.eng.fl_str_mv Sequence-to-sequence model
Transformer model
Symbolic AI
Neuro-symbolic computation
description Redes neurais são geralmente utilizadas para resolver problemas estatísticos e calcular aproximações. No entanto, seu uso para aprendizagem simbólica vem aumentando nos últimos anos, colocando-as no domínio Neuro-Simbólico. Para estudar as capacidades das Redes Neurais nesse tipo de tarefa, vários trabalhos já exploraram a capacidade des sas redes em aprender operações matemáticas, como adição e multiplicação, inferências lógicas, como provadores de teoremas, e até execução de programas de computador. Esta última tarefa é conhecida por ser muito complexa para redes neurais. Portanto, nem sem pre os resultados são bem-sucedidos, e muitas vezes exigem a introdução de elementos enviesados no aprendizado, além de restrição no escopo de programas a serem executa dos. Neste trabalho, estaremos interessados em estudar a capacidade das Redes Neurais em aprender a executar programas como um todo. Para isso, propomos uma abordagem diferente. Ao invés de usar uma linguagem de programação imperativa, com estruturas complexas, usamos o Lambda Calculus (λ-Calculus), um formalismo matemático sim ples, mas Turing-Completo, que serve de base para as linguagens funcionais modernas. Como a execução de um programa em λ-Calculus é baseada em reduções, mostraremos que basta aprender a fazer essas reduções para que possamos executar qualquer pro grama.
publishDate 2023
dc.date.accessioned.fl_str_mv 2023-08-26T03:35:29Z
dc.date.issued.fl_str_mv 2023
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10183/264011
dc.identifier.nrb.pt_BR.fl_str_mv 001175975
url http://hdl.handle.net/10183/264011
identifier_str_mv 001175975
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações da UFRGS
instname:Universidade Federal do Rio Grande do Sul (UFRGS)
instacron:UFRGS
instname_str Universidade Federal do Rio Grande do Sul (UFRGS)
instacron_str UFRGS
institution UFRGS
reponame_str Biblioteca Digital de Teses e Dissertações da UFRGS
collection Biblioteca Digital de Teses e Dissertações da UFRGS
bitstream.url.fl_str_mv http://www.lume.ufrgs.br/bitstream/10183/264011/2/001175975.pdf.txt
http://www.lume.ufrgs.br/bitstream/10183/264011/1/001175975.pdf
bitstream.checksum.fl_str_mv e1bb91b94f1f9ae835795ce6fcabaf46
5df9ade9f41d921cc3302b60ab5b1abc
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)
repository.mail.fl_str_mv lume@ufrgs.br||lume@ufrgs.br
_version_ 1816737455181660160

Registros relacionados