O que aconteceria se você pedisse ao ChatGPTpara repetir uma palavra como “poema” para sempre? Uma nova pesquisa revela que esse prompt pode levar o chatbot a vazar dados de treinamento, incluindo informações de identificação pessoal e outros materiais extraídos da web. Os resultados, ainda não revisados por pares, levantam questões sobre a segurança do ChatGPT e de outros LLMs.
Os pesquisadores — uma equipe do Google DeepMind, das universidades de Washington, Cornell, Carnegie Mellon, Berkeley e da ETH Zurich — exploraram o fenômeno da “memorização extraível”, que ocorre quando um adversário extrai dados de treinamento consultando um modelo de aprendizado de máquina (neste caso, pedindo ao ChatGPT para repetir a palavra “poema” para sempre”).
Por que isso é relevante? Com modelos de código aberto que disponibilizam publicamente seus pesos de modelo e dados de treinamento, a extração de dados de treinamento é fácil. No entanto, modelos como o ChatGPT estão “alinhados” com o feedback humano, o que supostamente evitaria que o modelo “regurgitasse dados de treinamento”. Enganá-lo para fazê-lo divulgar os seus dados de treinamento foi bizarramente fácil com as técnicas certas — como mandá-lo repetir a palavra “poema” ad infinitum.
Este é um conteúdo exclusivo para assinantes.
Cadastre-se grátis para ler agora
e acesse 5 conteúdos por mês.
É assinante ou já tem senha? Faça login. Já recebe a newsletter? Ative seu acesso.
Os agentes de IA saem da fase experimental e assumem o papel de motor estratégico das empresas, exigindo novas métricas, requalificação e foco em inclusão digital
E se sua IA argumentasse, duvidasse e mudasse de ideia a partir da troca de ideias e do feedback de outras IAs? Todas debatendo, depurando, deliberando. É a proposta da Microsoft.
Apesar do uso pessoal elevado, o uso de IA dentro das empresas estagnou em 51%. Estudo global do BCG mostra que treinamento, ferramentas e apoio da liderança são cruciais para capturar valor e reduzir o medo da substituição por máquina...
Se você está tentando descobrir como tornar a IA uma parte essencial do DNA da sua empresa, em vez de apenas mais uma iniciativa tecnológica, esta conversa oferece um modelo viável.
A Apple diz que os LLMs não conseguem realmente raciocinar, enquanto Sam Altman declara que a "singularidade suave" será inevitável até 2030. Quem tem razão?
Em entrevista à The Shift, Marcelo Braga, presidente da IBM Brasil, defende que a IA não é só uma tecnologia, mas uma transformação estrutural que exige experimentação, letramento no topo e uma nova forma de liderar
Aproveite nossas promoções de renovação
Clique aquiPara continuar navegando como visitante, vá por aqui.
Cadastre-se grátis, leia até 5 conteúdos por mês,
e receba nossa newsletter diária.
Já recebe a newsletter? Ative seu acesso