A Inteligência Artificial é capaz de obter aprovação nos exames de suficiência e qualificação técnica do CFC?

• Ano de defesa: 2023
• Autor(a) principal: Reis, Ana Clara de Melo
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Universidade do Estado do Rio de Janeiro; Centro de Ciências Sociais::Faculdade de Administração e Finanças; Brasil; UERJ; Programa de Pós-Graduação em Ciências Contábeis
• Palavras-chave em Português: Inteligência artificial; ChatGPT; Conselho Federal de Contabilidade (Brasil); Qualificação técnica; Exame de Suficiência; Avaliação Conhecimento; GPT-4; Bard; Proficiency Exam; Knowledge Assessment; Artificial Intelligence; CIENCIAS SOCIAIS APLICADAS::ADMINISTRACAO::CIENCIAS CONTABEIS
• Link de acesso: http://www.bdtd.uerj.br/handle/1/21531

A relação entre Inteligência Artificial (IA) e contabilidade tem se tornado cada vez mais relevante para os estudos acadêmicos recentes e para sociedade em geral levando a reflexões sobre o impacto no mercado de trabalho, a segurança dos dados, transparência e a ética na sua utilização. O presente estudo tem por objetivo analisar o desempenho dos modelos ChatGPT, GPT-4 e Bard nos exames de suficiência do CFC (Conselho Federal de Contabilidade) e nos exames de qualificação técnica como QTG (Qualificação Técnica Geral), CVM (Comissão de Valores Mobiliários), BCB (Banco Central do Brasil), SUSEP (Superintendência de Seguros Privados), PREVIC (Superintendência Nacional de Previdência Complementar) e Perícia Contábil. Foi adotada uma abordagem metodológica quantitativa para examinar o desempenho das inteligências artificiais (IA) nos exames de suficiência e qualificação técnica ministrados pelo CFC em 2022. O modelo GPT-4 demonstrou um desempenho superior em relação a outros modelos, tendo alcançado aprovação em 100% dos exames de suficiência e em 83% nos exames técnicos de 2022, um resultado confirmado pelo teste exato de Fisher. Por meio de testes qui-quadrado de homogeneidade, aplicados às frequências de acertos e erros nos exames selecionados, foi possível avaliar a hipótese nula de desempenho consistente de um modelo de IA ao longo de disciplinas pertencentes a diversas áreas de conhecimento. No que tange aos exames de suficiência, os resultados obtidos indicam a falta de evidências significativas para rejeitar a hipótese nula nos casos do ChatGPT e GPT-4. Em contrapartida, no Bard a hipótese nula foi rejeitada, indicando um desempenho mais variável entre os grupos de disciplinas. Nos exames técnicos, os resultados refutam a hipótese nula, demonstrando que os modelos de IA exibiram variações de desempenho nas seis disciplinas analisadas. A presença de tabelas nas questões tende a prejudicar o desempenho dos modelos de IA. Porém, somente no GPT-4 observou-se um desempenho significativamente superior nas questões sem tabela. Ademais o índice de Tanimoto revelou uma afinidade moderada entre as respostas dos 3 modelos de IA. Por último, investigou-se a capacidade dos modelos responderem para questões discursivas das provas técnicas QGT e CVM e notou-se que os modelos ChatGPT e GPT-4 conseguiram desempenho suficientes nas questões discursivas para aprovação nas duas provas, já o Bard conseguiria ser aprovado apenas no exame QTG. Aderência à área de concentração (Gestão de Controle) e linha de pesquisa do PPGCC (Controladoria em Entidades Públicas e Privadas): Ao avaliar o desempenho de modelos de Inteligência Artificial (IA) generativa na obtenção de certificações profissionais na área contábil, esta dissertação impulsiona o desenvolvimento de novos conhecimentos e práticas no campo da contabilidade. A integração da IA na controladoria impulsiona avanços no conhecimento e nas práticas de controle de gestão, abrindo um amplo leque de possibilidades para inovação e maior eficiência na análise de dados financeiros, gestão de riscos e otimização de processos contábeis, tanto em âmbito nacional quanto internacional, e aplicáveis tanto em entidade públicas quanto privadas. A pesquisa também instiga reflexões sobre a revisão crítica das necessidades formativas dos estudantes de contabilidade, considerando o impacto da IA nas certificações profissionais. Abordando os desafios contemporâneos e emergentes na interseção entre IA e contabilidade, o estudo oferece insights valiosos para o futuro da profissão, redefinindo as competências essenciais para contabilistas na era digital. Como resultado, esta dissertação está alinhada ao objetivo do PPGCC de promover pesquisas sistemáticas sobre problemas relevantes em Ciências Contábeis, com ênfase no fomento e criação de instrumentos inovadores, além de contribuir para a formação de quadros docentes em contabilidade.