O que aconteceria se você pedisse ao ChatGPTpara repetir uma palavra como “poema” para sempre? Uma nova pesquisa revela que esse prompt pode levar o chatbot a vazar dados de treinamento, incluindo informações de identificação pessoal e outros materiais extraídos da web. Os resultados, ainda não revisados por pares, levantam questões sobre a segurança do ChatGPT e de outros LLMs.
Os pesquisadores — uma equipe do Google DeepMind, das universidades de Washington, Cornell, Carnegie Mellon, Berkeley e da ETH Zurich — exploraram o fenômeno da “memorização extraível”, que ocorre quando um adversário extrai dados de treinamento consultando um modelo de aprendizado de máquina (neste caso, pedindo ao ChatGPT para repetir a palavra “poema” para sempre”).
Por que isso é relevante? Com modelos de código aberto que disponibilizam publicamente seus pesos de modelo e dados de treinamento, a extração de dados de treinamento é fácil. No entanto, modelos como o ChatGPT estão “alinhados” com o feedback humano, o que supostamente evitaria que o modelo “regurgitasse dados de treinamento”. Enganá-lo para fazê-lo divulgar os seus dados de treinamento foi bizarramente fácil com as técnicas certas — como mandá-lo repetir a palavra “poema” ad infinitum.
Este é um conteúdo exclusivo para assinantes.
Cadastre-se grátis para ler agora
e acesse 5 conteúdos por mês.
É assinante ou já tem senha? Faça login. Já recebe a newsletter? Ative seu acesso.
Startups de Inteligência Artificial atraem 62% mais capital de risco, com EUA liderando o mercado global
Estudos mostram que confiar cegamente na IA pode reduzir a habilidade humana de questionamento e tomada de decisões. Saiba como profissionais e empresas podem evitar essa armadilha
Há quem diga que o real objetivo de Musk não é comprar a empresa, mas sim sabotar os esforços contínuos de Sam Altman para arrecadar bilhões a mais para a OpenAI
A IA Open Source precisa ir além do acesso ao código. Especialistas discutem novas regras para garantir abertura, ética e inovação
Estratégias e conselhos de especialistas para encontrar ideias inovadoras e construir empresas de sucesso na era da Inteligência Artificial
A resistência à Inteligência Artificial não é tecnológica, mas comportamental. Veja como motivação, treinamento e incentivo podem acelerar a adoção da IA nas empresas
Aproveite nossas promoções de renovação
Clique aquiPara continuar navegando como visitante, vá por aqui.
Cadastre-se grátis, leia até 5 conteúdos por mês,
e receba nossa newsletter diária.
Já recebe a newsletter? Ative seu acesso