O que aconteceria se você pedisse ao ChatGPTpara repetir uma palavra como “poema” para sempre? Uma nova pesquisa revela que esse prompt pode levar o chatbot a vazar dados de treinamento, incluindo informações de identificação pessoal e outros materiais extraídos da web. Os resultados, ainda não revisados por pares, levantam questões sobre a segurança do ChatGPT e de outros LLMs.
Os pesquisadores — uma equipe do Google DeepMind, das universidades de Washington, Cornell, Carnegie Mellon, Berkeley e da ETH Zurich — exploraram o fenômeno da “memorização extraível”, que ocorre quando um adversário extrai dados de treinamento consultando um modelo de aprendizado de máquina (neste caso, pedindo ao ChatGPT para repetir a palavra “poema” para sempre”).
Por que isso é relevante? Com modelos de código aberto que disponibilizam publicamente seus pesos de modelo e dados de treinamento, a extração de dados de treinamento é fácil. No entanto, modelos como o ChatGPT estão “alinhados” com o feedback humano, o que supostamente evitaria que o modelo “regurgitasse dados de treinamento”. Enganá-lo para fazê-lo divulgar os seus dados de treinamento foi bizarramente fácil com as técnicas certas — como mandá-lo repetir a palavra “poema” ad infinitum.
Este é um conteúdo exclusivo para assinantes.
Cadastre-se grátis para ler agora
e acesse 5 conteúdos por mês.
É assinante ou já tem senha? Faça login. Já recebe a newsletter? Ative seu acesso.
O lançamento do Phi-3 e do Snowflake Arctic mostra como os novos modelos de linguagem estão cada vez mais avançados.
E se os grandes modelos de linguagem pudessem aprender com as próprias experiências, sem intervenção humana? Essa é uma área de pesquisa promissora, mas há obstáculos a superar.
O que está em jogo quando o excesso de conteúdo sintético se encontra com os LLMOs, mecanismos de otimização de conteúdos para busca alimentada IA?
Testemunhamos hoje o surgimento da força de trabalho de IA, unindo habilidades humanas com software. Sua chegada provocará mudanças nos empregos, mas trará oportunidades para startups.
Durante o evento SAS Innovate 2024, a fornecedora mostrou soluções para auxiliar clientes a aproveitar os benefícios da tecnologia com segurança.
Mostra um avanço significativo da IA, conduzido principalmente pela iniciativa privada. Mas a corrida tem seus efeitos colaterais. Faltam avaliações robustas e padronizadas para a IA Responsável. Além disso, a IA vence os humanos em al...
Aproveite nossas promoções de renovação
Clique aquiPara continuar navegando como visitante, vá por aqui.
Cadastre-se grátis, leia até 5 conteúdos por mês,
e receba nossa newsletter diária.
Já recebe a newsletter? Ative seu acesso