Pesquisas recentes geraram uma discussão intrigante sobre a proficiência do ChatGPT, especialmente as versões GPT-3.5 e GPT-4.
No entanto, com uma mistura desconcertante de altos e baixos de desempenho entre março e junho, alguns se perguntam: “O ChatGPT está ficando mais burro?”
Leia mais: Sofri um golpe, e agora? Como agir em casos de fraude
Atualizações do ChatGPT não superam as versões mais antigas
Acadêmicos conceituados da Universidade de Stanford e da Universidade da Califórnia, Berkeley, examinaram a proficiência do ChatGPT em várias tarefas. O ponto focal dessa avaliação abrangente foi a dramática inconsistência observada em seu desempenho ao longo de três meses.
A incongruência faz mais do que gerar questionamentos; ela ressalta a natureza da tecnologia e a necessidade de monitorar sua qualidade de forma consistente.
“Nossas descobertas mostram que o comportamento do “mesmo” [grande modelo de linguagem] serviço LLM pode mudar substancialmente em um período de tempo relativamente curto”, diz o relatório.
Mergulhando nos detalhes, as habilidades de resolução de problemas matemáticos do GPT-4 apresentaram uma queda chocante na proficiência ao identificar números primos.
De fato, as taxas de precisão caíram de louváveis 97,6% em março para alarmantes 2,4% em junho. Em contraste, seu antecessor, o GPT-3.5, apresentou uma melhora substancial no mesmo período, passando de 7,4% para 86,8%.
Os fortes contrastes confundem os especialistas do setor, já que seria de esperar que as versões mais recentes superassem seus antecessores. Isso levanta preocupações sobre como as “atualizações” e “melhorias” realmente afetam a capacidade da IA.
ChatGPT sofre de falta de explicação detalhada e geração de código
Quando questionada sobre questões delicadas, a pesquisa descrevia outro ângulo intrigante. O GPT-4 demonstrou uma redução significativa nas respostas diretas a consultas confidenciais de março a junho. Isso é indicativo de uma camada de segurança reforçada.
No entanto, houve um notável truncamento em suas explicações geradas ao se recusar a responder. Isso gerou especulações sobre se o modelo está errando por excesso de cautela em detrimento do engajamento e da clareza do usuário.
Apesar disos, o estudo também identificou pontos positivos, como uma área crucial em que o GPT-4 e, até certo ponto, o GPT-3.5, manifestaram melhorias marginais: o raciocínio visual. Embora as taxas gerais de sucesso tenham permanecido relativamente baixas, houve evidências de evolução em seu desempenho.
O que realmente se destaca é a imprevisibilidade dessa tecnologia. A proficiência de geração de código do GPT-4 exibiu um declínio na produção de código executável diretamente. Isso levanta bandeiras vermelhas para as indústrias que dependem desses modelos, pois as inconsistências podem causar estragos em ecossistemas de software maiores.
A complacência não pode ser permitida
A principal conclusão dessa análise aprofundada não são as flutuações no desempenho do GPT-4 e do GPT-3.5, mas a lição abrangente sobre a impermanência da eficiência da IA. Com os rápidos avanços tecnológicos, há uma suposição implícita de que os modelos mais novos superarão seus predecessores. Este estudo desafia essa mesma noção.
A mensagem para empresas e desenvolvedores fortemente investidos no ChatGPT é monitorar e avaliar esses modelos regularmente. À medida que a tecnologia de IA continua avançando, o estudo é um lembrete claro de que os avanços não são lineares.
A suposição de que o mais novo é invariavelmente melhor pode ser uma simplificação exagerada, uma noção que a comunidade de tecnologia precisa abordar de frente. O comportamento errático de GPT-4 e GPT-3.5 em questão de meses aumenta a urgência de permanecer vigilante, avaliar e recalibrar, garantindo que a tecnologia atenda ao seu propósito com proficiência consistente.
- Não entendeu algum termo do universo Web3? Confira no nosso Glossário!
- Quer se manter atualizado em tudo o que é relevante no mundo cripto? O BeInCrypto tem uma comunidade no Telegram em que você pode ler em primeira mão as notícias relevantes e conversar com outros entusiastas em criptomoedas. Confira!
- Você também pode se juntar a nossas comunidades no Twitter (X), Instagram e Facebook.
Isenção de responsabilidade
Todas as informações contidas em nosso site são publicadas de boa fé e apenas para fins de informação geral. Qualquer ação que o leitor tome com base nas informações contidas em nosso site é por sua própria conta e risco.
