Indicadores para medir a IA em termos humanos

A OCDE (Organização para a Cooperação e Desenvolvimento Econômico) está desenvolvendo um conjunto de indicadores para descrever o que a IA pode e não pode fazer em relação a diferentes áreas do desempenho humano. O conjunto completo não será divulgado antes do final de junho. Mas o primeiro rascunho ficou pronto.

Os indicadores são: Linguagem; Interação Social; Resolução de Problemas; Criatividade; Metacognição e Pensamento Crítico; Conhecimento, Aprendizagem e Memória; Visão; Manipulação; e Inteligência Robótica. E medem o desenvolvimento da IA a partir de uma escala de cinco níveis, em que as capacidades mais desafiadoras para sistemas de IA estão no topo. Cada nível inclui uma breve descrição dos tipos de capacidades que os sistemas de IA naquele nível podem executar com precisão e consistência, desde o passado até um futuro hipotético em que a IA possa reproduzir todos os aspectos humanos de cada capacidade.

Para ser classificado em um determinado nível, um sistema de IA deve possuir de forma consistente e confiável a maioria dos aspectos da capacidade descrita naquele nível. Por exemplo, os LLMs foram classificados no limiar entre os níveis 2 e 3 na escala de Linguagem. Possuem muitos aspectos da capacidade linguística descritos no nível 3, mas são prejudicados por sua incapacidade de se envolver em raciocínio analítico bem estruturado, sua tendência a “alucinar” e gerar informações incorretas e sua incapacidade de aprender dinamicamente.