O que aconteceria se você pedisse ao ChatGPTpara repetir uma palavra como “poema” para sempre? Uma nova pesquisa revela que esse prompt pode levar o chatbot a vazar dados de treinamento, incluindo informações de identificação pessoal e outros materiais extraídos da web. Os resultados, ainda não revisados por pares, levantam questões sobre a segurança do ChatGPT e de outros LLMs.
Os pesquisadores — uma equipe do Google DeepMind, das universidades de Washington, Cornell, Carnegie Mellon, Berkeley e da ETH Zurich — exploraram o fenômeno da “memorização extraível”, que ocorre quando um adversário extrai dados de treinamento consultando um modelo de aprendizado de máquina (neste caso, pedindo ao ChatGPT para repetir a palavra “poema” para sempre”).
Por que isso é relevante? Com modelos de código aberto que disponibilizam publicamente seus pesos de modelo e dados de treinamento, a extração de dados de treinamento é fácil. No entanto, modelos como o ChatGPT estão “alinhados” com o feedback humano, o que supostamente evitaria que o modelo “regurgitasse dados de treinamento”. Enganá-lo para fazê-lo divulgar os seus dados de treinamento foi bizarramente fácil com as técnicas certas — como mandá-lo repetir a palavra “poema” ad infinitum.
Este é um conteúdo exclusivo para assinantes.
Cadastre-se grátis para ler agora
e acesse 5 conteúdos por mês.
É assinante ou já tem senha? Faça login. Já recebe a newsletter? Ative seu acesso.
Testemunhamos hoje o surgimento da força de trabalho de IA, unindo habilidades humanas com software. Sua chegada provocará mudanças nos empregos, mas trará oportunidades para startups.
Durante o evento SAS Innovate 2024, a fornecedora mostrou soluções para auxiliar clientes a aproveitar os benefícios da tecnologia com segurança.
Mostra um avanço significativo da IA, conduzido principalmente pela iniciativa privada. Mas a corrida tem seus efeitos colaterais. Faltam avaliações robustas e padronizadas para a IA Responsável. Além disso, a IA vence os humanos em al...
Muitos heavy users exigirão além do que a tecnologia pode entregar, e as próprias corporações, sem políticas de inovação nem dados estruturados, deixarão de aproveitar a promessa de eficiência
Daniela Rus, roboticista e diretora do MIT CSAIL em parceria com Gregory Mone mostram como a robótica pode auxiliar a humanidade no futuro em um novo livro.
O relatório anual Enterprise Tech 30, que publica a lista das startups de tecnologia corporativa mais promissoras, na visão dos grandes VCs, mostra startups de IA ocupando espaços do SaaS.
Aproveite nossas promoções de renovação
Clique aquiPara continuar navegando como visitante, vá por aqui.
Cadastre-se grátis, leia até 5 conteúdos por mês,
e receba nossa newsletter diária.
Já recebe a newsletter? Ative seu acesso