s
INTELIGÊNCIA ARTIFICIAL

Limitações e problemas dos Large Language Models

Dá para "hackear" um LLM com um poema? Aparentemente sim. Ao avaliar a segurança do ChatGPT, pesquisadores usaram a palavra "poem" para explorar a "memorização extraível".

O que aconteceria se você pedisse ao ChatGPTpara repetir uma palavra como “poema” para sempre? Uma nova pesquisa revela que esse prompt pode levar o chatbot a vazar dados de treinamento, incluindo informações de identificação pessoal e outros materiais extraídos da web. Os resultados, ainda não revisados ​​por pares, levantam questões sobre a segurança do ChatGPT e de outros LLMs.

Os pesquisadores — uma equipe do Google DeepMind, das universidades de Washington, Cornell, Carnegie Mellon, Berkeley e da ETH Zurich — exploraram o fenômeno da “memorização extraível”, que ocorre quando um adversário extrai dados de treinamento consultando um modelo de aprendizado de máquina (neste caso, pedindo ao ChatGPT para repetir a palavra “poema” para sempre”).

Por que isso é relevante? Com modelos de código aberto que disponibilizam publicamente seus pesos de modelo e dados de treinamento, a extração de dados de treinamento é fácil. No entanto, modelos como o ChatGPT estão “alinhados” com o feedback humano, o que supostamente evitaria que o modelo “regurgitasse dados de treinamento”. Enganá-lo para fazê-lo divulgar os seus dados de treinamento foi bizarramente fácil com as técnicas certas — como mandá-lo repetir a palavra “poema” ad infinitum.

Este é um conteúdo exclusivo para assinantes.

Cadastre-se grátis para ler agora
e acesse 5 conteúdos por mês.

É assinante ou já tem senha? Faça login. Já recebe a newsletter? Ative seu acesso.

Moldando o futuro

Inteligência Artificial

Moldando o futuro

Quer um futuro melhor? Faça, porque ficar esperando que ele aconteça por geração espontânea, só porque alguém previu, não dará boa coisa.

Vale a pena ser gentil com sua IA

Inteligência Artificial

Vale a pena ser gentil com sua IA

Gentileza gera gentileza, e aumenta a qualidade das respostas dos chatbots de IA, revelam pesquisadores da Waseda University

É hora de usar KPIs inteligentes 

Inteligência Artificial

É hora de usar KPIs inteligentes 

O que os KPIs têm a ganhar com a IA? Muito, segundo mais dados do estudo do BCG e da MIT Sloan Review. A começar pelo fato de que passam a olhar para frente, em vez de medir o passado.

A corrida da IA no text-to-video

Inteligência Artificial

A corrida da IA no text-to-video

Nas últimas semanas, OpenAI e o Google revelaram novos modelos e recursos impressionantes, a um ritmo alucinante, cada um deles ampliando os limites do que a IA pode fazer.

Jovens Z encaram a IA sem medo de ser felizes

Inteligência Artificial

Jovens Z encaram a IA sem medo de ser felizes

Os zoomers enxergam a Inteligência Artificial como uma "segunda natureza" e o domínio das ferramentas disponíveis como uma vantagem profissional.

Desafios da união entre IA e Blockchain

Inteligência Artificial

Desafios da união entre IA e Blockchain

Tema de conversas e polêmicas constantes entre especialistas, vem sendo acalentado por gente de peso no ecossistema cripto, como Vitalik Buterin. Há riscos. E não são poucos.