O que aconteceria se você pedisse ao ChatGPTpara repetir uma palavra como “poema” para sempre? Uma nova pesquisa revela que esse prompt pode levar o chatbot a vazar dados de treinamento, incluindo informações de identificação pessoal e outros materiais extraídos da web. Os resultados, ainda não revisados por pares, levantam questões sobre a segurança do ChatGPT e de outros LLMs.
Os pesquisadores — uma equipe do Google DeepMind, das universidades de Washington, Cornell, Carnegie Mellon, Berkeley e da ETH Zurich — exploraram o fenômeno da “memorização extraível”, que ocorre quando um adversário extrai dados de treinamento consultando um modelo de aprendizado de máquina (neste caso, pedindo ao ChatGPT para repetir a palavra “poema” para sempre”).
Por que isso é relevante? Com modelos de código aberto que disponibilizam publicamente seus pesos de modelo e dados de treinamento, a extração de dados de treinamento é fácil. No entanto, modelos como o ChatGPT estão “alinhados” com o feedback humano, o que supostamente evitaria que o modelo “regurgitasse dados de treinamento”. Enganá-lo para fazê-lo divulgar os seus dados de treinamento foi bizarramente fácil com as técnicas certas — como mandá-lo repetir a palavra “poema” ad infinitum.
Este é um conteúdo exclusivo para assinantes.
Cadastre-se grátis para ler agora
e acesse 5 conteúdos por mês.
É assinante ou já tem senha? Faça login. Já recebe a newsletter? Ative seu acesso.
A nova tendência para o mercado de inteligência artificial são os Pequenos Modelos de Linguagem, que cativou empresas como Hugging Face, Mistral AI, Nvidia e OpenAI, entre outros.
Se uma empresa que desmata ou polui é cobrada por reflorestar determinada área, uma empresa que troque empregos pela adoção de IA deveria também ser cobrada por investir em educação e upskilling da IA?
A Co-Inteligência gira em torno da colaboração entre a Inteligência Artificial e humanos, aproveitando os pontos fortes de cada um. Entenda
Uma nova pesquisa mostra que é preciso valorizar as habilidades exclusivas dos seres humanos para progredir no uso das tecnologias.
A nova pesquisa produzida pelo Ericsson ConsumerLab convidou 6.500 usuários pioneiros de IA para avaliar e identificar quais serão as principais tendências para a próxima década.
Recente pesquisa mostrou que as empresas de tecnologia não estão tomando as medidas apropriadas em relação ao uso de IA Responsável
Aproveite nossas promoções de renovação
Clique aquiPara continuar navegando como visitante, vá por aqui.
Cadastre-se grátis, leia até 5 conteúdos por mês,
e receba nossa newsletter diária.
Já recebe a newsletter? Ative seu acesso