IA Explicável também precisa ser ética

Não sabemos muito sobre como as redes neurais tomam suas decisões. Geralmente as aceitamos em relação a assuntos e atividades triviais. Mas, à medida que o Deep Learning é integrado a áreas mais críticas de nossas vidas, como os diagnósticos médicos, é justo que possamos saber mais o que acontece sob o capô. Razão pela qual tem havido muito trabalho em torno da “IA Explicável” (XAI).

Mas abrir a caixa preta da IA também pode se tornar um problema, de acordo com um novo estudo da Universidade de Michigan. Os pesquisadores descobriram que os engenheiros estão confiando demais nas técnicas de XAI, mesmo sem entendê-las. Um fenômeno conhecido como "viés de automação".

Muitas vezes, o uso das ferramentas de XAI levou a suposições incorretas sobre os dados e os modelos. O que comprova que a interpretabilidade não é um conceito rígido e singular. E embora a maioria das pessoas concorde que a interpretabilidade deva descrever um entendimento humano de um sistema de IA, a comunidade de Ciência de Dados ainda não chegou a um acordo sobre qual parte do sistema deve ser entendida.