s
INTELIGÊNCIA ARTIFICIAL

Limitações e problemas dos Large Language Models

Dá para "hackear" um LLM com um poema? Aparentemente sim. Ao avaliar a segurança do ChatGPT, pesquisadores usaram a palavra "poem" para explorar a "memorização extraível".

O que aconteceria se você pedisse ao ChatGPTpara repetir uma palavra como “poema” para sempre? Uma nova pesquisa revela que esse prompt pode levar o chatbot a vazar dados de treinamento, incluindo informações de identificação pessoal e outros materiais extraídos da web. Os resultados, ainda não revisados ​​por pares, levantam questões sobre a segurança do ChatGPT e de outros LLMs.

Os pesquisadores — uma equipe do Google DeepMind, das universidades de Washington, Cornell, Carnegie Mellon, Berkeley e da ETH Zurich — exploraram o fenômeno da “memorização extraível”, que ocorre quando um adversário extrai dados de treinamento consultando um modelo de aprendizado de máquina (neste caso, pedindo ao ChatGPT para repetir a palavra “poema” para sempre”).

Por que isso é relevante? Com modelos de código aberto que disponibilizam publicamente seus pesos de modelo e dados de treinamento, a extração de dados de treinamento é fácil. No entanto, modelos como o ChatGPT estão “alinhados” com o feedback humano, o que supostamente evitaria que o modelo “regurgitasse dados de treinamento”. Enganá-lo para fazê-lo divulgar os seus dados de treinamento foi bizarramente fácil com as técnicas certas — como mandá-lo repetir a palavra “poema” ad infinitum.

Este é um conteúdo exclusivo para assinantes.

Cadastre-se grátis para ler agora
e acesse 5 conteúdos por mês.

É assinante ou já tem senha? Faça login. Já recebe a newsletter? Ative seu acesso.

Deep techs na América Latina: ambição global, desafios locais

Inteligência Artificial

Deep techs na América Latina: ambição global, desafios locais

Mesmo com talento e ciência de ponta, a América Latina ainda enfrenta barreiras como pouco investimento e falta de ambição global para escalar suas deep techs

Software virou mão de obra. Quanto custa o trabalho da IA?

Inteligência Artificial

Software virou mão de obra. Quanto custa o trabalho da IA?

Agentes autônomos desafiam o manual do SaaS e expõem a batalha entre ROI, narrativas de valor e dumping algorítmico.

Transformação digital na América Latina: o salto bilionário guiado pelo Brasil

Inteligência Artificial

Transformação digital na América Latina: o salto bilionário guiado...

De IA a inclusão financeira, a região prepara salto de eficiência — com o Brasil na linha de frente

Empresas adotam IA sem plano e colhem riscos em vez de retorno

Inteligência Artificial

Empresas adotam IA sem plano e colhem riscos em vez de retorno

Apesar da popularização das ferramentas de IA, ainda falta clareza, políticas e treinamento. O uso incorreto expõe empresas a riscos e desperdícios de potencial.

O dilema da IA em Life Sciences: maturidade alta, retorno baixo

Inteligência Artificial

O dilema da IA em Life Sciences: maturidade alta, retorno baixo

Apesar da adoção de IA, pilotos no setor ainda focam em tarefas simples, longe de impactar modelos operacionais

Saúde, Indústria e Agronegócio puxam registros de patentes de IA no Brasil

Inteligência Artificial

Saúde, Indústria e Agronegócio puxam registros de patentes de IA no...

Enquanto EUA e China aceleram, o Brasil patina: apenas 8 patentes de IA concedidas em cinco anos