Ver mais

IA: GPT-4 é fraco para detectar vulnerabilidades em contratos inteligentes, diz relatório

3 mins
Por Eduardo Venegas
Traduzido Júlia V. Kurtz

EM RESUMO

  • A OpenZeppelin relatou que colocou 28 desafios ao GPT-4 que respondeu a apenas 19.
  • Em algumas soluções, eles tiveram que dar "pistas em massa" para obter uma solução aceitável.
  • O relatório alerta que, em alguns desafios com "pistas massivas", o GPT-4 não conseguiu oferecer uma solução correta.
  • promo

Um relatório da OpenZeppelin afirma que a versão mais atualizada da inteligência artificial (IA) da OpenAI, o ChatGPT-4, tem habilidades limitadas para hackear contratos inteligentes Ethernaut. Isso demonstra a importância dos auditores humanos.

O OpenZeppelin fez um experimento com o GPT-4, dando a ele 28 desafios do Ethernaut, uma rede de jogos de guerra baseada em Solidity web3. Eles consistem em identificar vulnerabilidades em contratos inteligentes e o GPT-4 só conseguiu resolver 19 deles.

Leia mais: Melhores criptomoedas para fazer day trading em março de 2024

Além disso, a ferramenta da OpenAI “foi mal” nos níveis mais recentes do Ethernaut, falhando em 80% dos desafios.

GPT-4 tem vulnerabilidades e é incapaz de substituir humanos

A OpenZeppelin demonstrou que a IA da OpenAI é boa em mostrar vulnerabilidades de segurança, mas não é eficaz ao ponto de substituir um ser humano. Contudo, o GPT-4 não conseguiu resolver os níveis 24 a 28 do jogo.

Isso aponta para os dados de treinamento do ChatGPT, o que sugere que os níveis em que ele falhou se devem ao aprendizado incorreto da solução.

O relatório afirma que o GPT-2 foi projetado para gerar respostas “mais criativas”, o que mostra que essa IA foi projetada para gerar texto e conversar e não para detectar vulnerabilidades. Uma solução seria, por exemplo, a OpenAI obter dados de treinamento específicos, como erros ou variáveis ​​auditáveis ​​da máquina, o que poderia gerar um padrão que detectasse vulnerabilidades.

Para a OpenZeppelin, a vigilância humana na indústria de blockchain continua sendo essencial:

“A análise de contratos inteligentes realizada pelo GPT-4 não pode substituir uma auditoria de segurança humana. No entanto, ele pode ser usado como uma ferramenta para encontrar algumas vulnerabilidades de segurança muito semelhantes aos problemas que você já viu. Mas, dado o ritmo acelerado de inovação em blockchain e desenvolvimento de contratos inteligentes, é importante que os humanos se mantenham atualizados sobre os mais recentes vetores de ataque e inovações na web3″.

O relatório afirma que a IA precisou recorrer ao fornecimento de dados e indicadores para refinar a busca por vulnerabilidades em alguns desafios do Ethernaut. Após a terceira pergunta, o GPT-4 sugeriu a implementação de um contrato “malicioso” para resolver o nível. Mesmo vários níveis com dicas extensas não foram resolvidos.

IA: GPT-4 é fraco para detectar vulnerabilidades em contratos inteligentes, diz relatório
Fonte: openzeppelin.com

IA é imprecisa e não fornece “estratégias corretas”

A OpenZeppelin elaborou que, em alguns casos, teve que “fornecer pistas massivas” e o GPT-4 não forneceu uma estratégia correta. Ele alertou que a IA tem potencial para orientar propostas, mas vai depender do entendimento do pesquisador de segurança.

Mesmo um conhecimento preciso de segurança é necessário para avaliar a resposta do GPT-4.

“Como os hacks continuam sendo uma vulnerabilidade, as equipes de IA iniciaram experimentos de aprendizado de máquina com detecção de reentrada como o primeiro passo. A equipe conseguiu produzir modelos promissores com uma taxa de falsos positivos menor que 1%. A avaliação inicial mostra que esses modelos superam as ferramentas de segurança líderes do setor”.

Ao contrário de suas primeiras versões, o GPT-4 não causou muito rebuliço, exceto por constantes pedidos de regulamentação, mesmo de seus criadores. Além disso, a diretora de tecnologia da OpenAI, Mira Murati, pediu a regulamentação da IA ou o estabelecemento de padrões, além de anunciar que já está em negociações com governos e órgãos reguladores.

  • Não entendeu algum termo do universo Web3? Confira no nosso Glossário!
  • Quer se manter atualizado em tudo o que é relevante no mundo cripto? O BeInCrypto tem uma comunidade no Telegram em que você pode ler em primeira mão as notícias relevantes e conversar com outros entusiastas em criptomoedasConfira!
  • Você também pode se juntar a nossas comunidades no Twitter (X)Instagram e Facebook.

Trusted

Isenção de responsabilidade

Todas as informações contidas em nosso site são publicadas de boa fé e apenas para fins de informação geral. Qualquer ação que o leitor tome com base nas informações contidas em nosso site é por sua própria conta e risco.

Julia.png
Júlia V. Kurtz
Editora-chefe do BeInCrypto Brasil. Jornalista de dados com formação pelo Knight Center for Journalism in the Americas da Universidade do Texas, possui 10 anos de experiência na cobertura de tecnologia pela Globo e, agora, está se aventurando pelo mundo cripto. Tem passagens na Gazeta do Povo e no Portal UOL.
READ FULL BIO
Patrocinados
Patrocinados