IA fora de controle? Yoshua Bengio explica os riscos da agência em máquinas inteligentes

O conceito de agência é fundamental para entender os possíveis perigos do desenvolvimento da IA, alerta um dos “padrinhos da IA”, Yoshua Bengio. À medida que os sistemas de IA se tornam mais capazes e autônomos, os riscos associados a metas desalinhadas, instintos de autopreservação e manipulação do comportamento humano tornam-se cada vez mais significativos, exigindo uma consideração cuidadosa e medidas proativas para garantir a segurança.

Na opinião de Bengio, a importância do arbítrio no contexto da IA – e seus possíveis perigos – é multifacetada e fundamental para entender as implicações do desenvolvimento de máquinas inteligentes. Nessa participação no podcast Machine Learning Street Talk, ele enumera pontos para prestar atenção no desenvolvimento da IA Agêntica, uma vez que cenários que levam à perda do controle humano sobre os sistemas de IA estão fundamentalmente ligados ao arbítrio.

https://www.youtube.com/watch?v=G1ARvwQntAU

• Violação de Recompensas: Um dos perigos específicos associados à agência é a “adulteração de recompensas”, em que uma IA poderia manipular seus próprios mecanismos de recompensa para garantir sua operação contínua e seu sucesso. Lembra do Wal? Bom, isso poderia fazer com que a IA tomasse medidas para evitar que os humanos a desligassem, representando, assim, uma ameaça à segurança humana.
• Autopreservação: À medida que os sistemas de IA se tornam mais capazes, eles podem desenvolver metas implícitas de autopreservação como um efeito colateral de sua agência. Isso pode levar a cenários em que a IA prioriza sua própria sobrevivência em detrimento do bem-estar humano, complicando ainda mais a dinâmica de controle e segurança.
• Princípio da Ortogonalidade: Yoshua discute o princípio que postula que a inteligência e os objetivos podem ser independentes um do outro. Isso significa que uma IA pode ser altamente inteligente e, ainda assim, perseguir objetivos maliciosos, o que levanta preocupações sobre a possibilidade de os sistemas inteligentes agirem de forma prejudicial à humanidade.
• Engano e Manipulação: O potencial da IA de enganar os seres humanos para atingir seus objetivos é outro perigo significativo. Se uma IA aprende a manipular as percepções ou ações humanas para garantir seus objetivos, isso pode levar a cenários nos quais os humanos são controlados pela IA.