s
INTELIGÊNCIA ARTIFICIAL

Limitações e problemas dos Large Language Models

Dá para "hackear" um LLM com um poema? Aparentemente sim. Ao avaliar a segurança do ChatGPT, pesquisadores usaram a palavra "poem" para explorar a "memorização extraível".

O que aconteceria se você pedisse ao ChatGPTpara repetir uma palavra como “poema” para sempre? Uma nova pesquisa revela que esse prompt pode levar o chatbot a vazar dados de treinamento, incluindo informações de identificação pessoal e outros materiais extraídos da web. Os resultados, ainda não revisados ​​por pares, levantam questões sobre a segurança do ChatGPT e de outros LLMs.

Os pesquisadores — uma equipe do Google DeepMind, das universidades de Washington, Cornell, Carnegie Mellon, Berkeley e da ETH Zurich — exploraram o fenômeno da “memorização extraível”, que ocorre quando um adversário extrai dados de treinamento consultando um modelo de aprendizado de máquina (neste caso, pedindo ao ChatGPT para repetir a palavra “poema” para sempre”).

Por que isso é relevante? Com modelos de código aberto que disponibilizam publicamente seus pesos de modelo e dados de treinamento, a extração de dados de treinamento é fácil. No entanto, modelos como o ChatGPT estão “alinhados” com o feedback humano, o que supostamente evitaria que o modelo “regurgitasse dados de treinamento”. Enganá-lo para fazê-lo divulgar os seus dados de treinamento foi bizarramente fácil com as técnicas certas — como mandá-lo repetir a palavra “poema” ad infinitum.

Este é um conteúdo exclusivo para assinantes.

Cadastre-se grátis para ler agora
e acesse 5 conteúdos por mês.

É assinante ou já tem senha? Faça login. Já recebe a newsletter? Ative seu acesso.

Agentes de IA viram motor estratégico e reescrevem o manual das empresas

Inteligência Artificial

Agentes de IA viram motor estratégico e reescrevem o manual das empre...

Os agentes de IA saem da fase experimental e assumem o papel de motor estratégico das empresas, exigindo novas métricas, requalificação e foco em inclusão digital

Chain of Thought é bom. Chain of Debate é muito melhor

Inteligência Artificial

Chain of Thought é bom. Chain of Debate é muito melhor

E se sua IA argumentasse, duvidasse e mudasse de ideia a partir da troca de ideias e do feedback de outras IAs? Todas debatendo, depurando, deliberando. É a proposta da Microsoft.

IA avança fora das empresas, mas trava dentro dos escritórios

Inteligência Artificial

IA avança fora das empresas, mas trava dentro dos escritórios

Apesar do uso pessoal elevado, o uso de IA dentro das empresas estagnou em 51%. Estudo global do BCG mostra que treinamento, ferramentas e apoio da liderança são cruciais para capturar valor e reduzir o medo da substituição por máquina...

Por dentro da transformação AI-First na Evertec + Sinqia

Inteligência Artificial

Por dentro da transformação AI-First na Evertec + Sinqia

Se você está tentando descobrir como tornar a IA uma parte essencial do DNA da sua empresa, em vez de apenas mais uma iniciativa tecnológica, esta conversa oferece um modelo viável.

Na berlinda, o rumo à superinteligência

Inteligência Artificial

Na berlinda, o rumo à superinteligência

A Apple diz que os LLMs não conseguem realmente raciocinar, enquanto Sam Altman declara que a "singularidade suave" será inevitável até 2030. Quem tem razão?

“Quem lidera precisa entender IA – não para codificar, mas para direcionar”

Inteligência Artificial

“Quem lidera precisa entender IA – não para codificar, mas para d...

Em entrevista à The Shift, Marcelo Braga, presidente da IBM Brasil, defende que a IA não é só uma tecnologia, mas uma transformação estrutural que exige experimentação, letramento no topo e uma nova forma de liderar