s
INTELIGÊNCIA ARTIFICIAL

Limitações e problemas dos Large Language Models

Dá para "hackear" um LLM com um poema? Aparentemente sim. Ao avaliar a segurança do ChatGPT, pesquisadores usaram a palavra "poem" para explorar a "memorização extraível".

O que aconteceria se você pedisse ao ChatGPTpara repetir uma palavra como “poema” para sempre? Uma nova pesquisa revela que esse prompt pode levar o chatbot a vazar dados de treinamento, incluindo informações de identificação pessoal e outros materiais extraídos da web. Os resultados, ainda não revisados ​​por pares, levantam questões sobre a segurança do ChatGPT e de outros LLMs.

Os pesquisadores — uma equipe do Google DeepMind, das universidades de Washington, Cornell, Carnegie Mellon, Berkeley e da ETH Zurich — exploraram o fenômeno da “memorização extraível”, que ocorre quando um adversário extrai dados de treinamento consultando um modelo de aprendizado de máquina (neste caso, pedindo ao ChatGPT para repetir a palavra “poema” para sempre”).

Por que isso é relevante? Com modelos de código aberto que disponibilizam publicamente seus pesos de modelo e dados de treinamento, a extração de dados de treinamento é fácil. No entanto, modelos como o ChatGPT estão “alinhados” com o feedback humano, o que supostamente evitaria que o modelo “regurgitasse dados de treinamento”. Enganá-lo para fazê-lo divulgar os seus dados de treinamento foi bizarramente fácil com as técnicas certas — como mandá-lo repetir a palavra “poema” ad infinitum.

Este é um conteúdo exclusivo para assinantes.

Cadastre-se grátis para ler agora
e acesse 5 conteúdos por mês.

É assinante ou já tem senha? Faça login. Já recebe a newsletter? Ative seu acesso.

Investimentos em IA batem recorde de US$ 110 bilhões em 2024

Inteligência Artificial

Investimentos em IA batem recorde de US$ 110 bilhões em 2024

Startups de Inteligência Artificial atraem 62% mais capital de risco, com EUA liderando o mercado global

IA Generativa e o risco da atrofia cognitiva: Estamos perdendo nossa capacidade de pensar?

Inteligência Artificial

IA Generativa e o risco da atrofia cognitiva: Estamos perdendo nossa c...

Estudos mostram que confiar cegamente na IA pode reduzir a habilidade humana de questionamento e tomada de decisões. Saiba como profissionais e empresas podem evitar essa armadilha

Elon Musk quer mesmo comprar a OpenAI?

Inteligência Artificial

Elon Musk quer mesmo comprar a OpenAI?

Há quem diga que o real objetivo de Musk não é comprar a empresa, mas sim sabotar os esforços contínuos de Sam Altman para arrecadar bilhões a mais para a OpenAI

IA de código aberto ou marketing? O desafio de definir o que é realmente aberto

Inteligência Artificial

IA de código aberto ou marketing? O desafio de definir o que é realm...

A IA Open Source precisa ir além do acesso ao código. Especialistas discutem novas regras para garantir abertura, ética e inovação

Startups de IA: Como encontrar sua próxima ideia, segundo o Y Combinator

Inteligência Artificial

Startups de IA: Como encontrar sua próxima ideia, segundo o Y Combina...

Estratégias e conselhos de especialistas para encontrar ideias inovadoras e construir empresas de sucesso na era da Inteligência Artificial

Como superar as barreiras humanas na adoção da IA no trabalho

Inteligência Artificial

Como superar as barreiras humanas na adoção da IA no trabalho

A resistência à Inteligência Artificial não é tecnológica, mas comportamental. Veja como motivação, treinamento e incentivo podem acelerar a adoção da IA nas empresas