s
INTELIGÊNCIA ARTIFICIAL

Limitações e problemas dos Large Language Models

Dá para "hackear" um LLM com um poema? Aparentemente sim. Ao avaliar a segurança do ChatGPT, pesquisadores usaram a palavra "poem" para explorar a "memorização extraível".

O que aconteceria se você pedisse ao ChatGPTpara repetir uma palavra como “poema” para sempre? Uma nova pesquisa revela que esse prompt pode levar o chatbot a vazar dados de treinamento, incluindo informações de identificação pessoal e outros materiais extraídos da web. Os resultados, ainda não revisados ​​por pares, levantam questões sobre a segurança do ChatGPT e de outros LLMs.

Os pesquisadores — uma equipe do Google DeepMind, das universidades de Washington, Cornell, Carnegie Mellon, Berkeley e da ETH Zurich — exploraram o fenômeno da “memorização extraível”, que ocorre quando um adversário extrai dados de treinamento consultando um modelo de aprendizado de máquina (neste caso, pedindo ao ChatGPT para repetir a palavra “poema” para sempre”).

Por que isso é relevante? Com modelos de código aberto que disponibilizam publicamente seus pesos de modelo e dados de treinamento, a extração de dados de treinamento é fácil. No entanto, modelos como o ChatGPT estão “alinhados” com o feedback humano, o que supostamente evitaria que o modelo “regurgitasse dados de treinamento”. Enganá-lo para fazê-lo divulgar os seus dados de treinamento foi bizarramente fácil com as técnicas certas — como mandá-lo repetir a palavra “poema” ad infinitum.

Este é um conteúdo exclusivo para assinantes.

Cadastre-se grátis para ler agora
e acesse 5 conteúdos por mês.

É assinante ou já tem senha? Faça login. Já recebe a newsletter? Ative seu acesso.

IA e gestão da inovação se econcontram

Inteligência Artificial

IA e gestão da inovação se econcontram

A inovação na IA não é apenas a adoção de novas tecnologias. Ela precisa estar integrada à estrutura da criatividade e do crescimento organizacional.

Dados: o alto custo do GPT-4o

Inteligência Artificial

Dados: o alto custo do GPT-4o

Considerando que o ChatGPT está cada vez mais integrado em tecnologias como a da Apple é preciso entender o que estamos "trocando" no momento que usamos a aplicação gratuitamente.

Adoção de IA Generativa cresce e começa a gerar valor

Inteligência Artificial

Adoção de IA Generativa cresce e começa a gerar valor

A GenAI chegou de rolo compressor para mexer nos negócios. Mas ela é tão útil assim? Só experimentando para saber, como mostramos a seguir.

Como aproveitar o melhor da IA

Inteligência Artificial

Como aproveitar o melhor da IA

Um caminho é entender como aproveitar melhor dados corporativos em um foundation model que seja só seu.

É muito fácil contornar proteções de chatbots de IA

Inteligência Artificial

É muito fácil contornar proteções de chatbots de IA

LMMs em uso hoje são altamente vulneráveis a jailbreaks básicos, e alguns fornecem resultados prejudiciais mesmo sem tentativas dedicadas a burlar seus controles, revela pesquisa.

Desalinhamento na OpenAI

Inteligência Artificial

Desalinhamento na OpenAI

Após uma semana do lançamento do ChatGPT 4o a OpenAI se envolveu em uma série de polêmicas envolvendo o fechamento da equipe de Superalinhamento e um processo da atriz Scarlett Johansson.