A subespecificação está arruinando o desempenho dos modelos de Machine Learning

Um grupo de pesquisadores do Google identificou uma causa importante para o fracasso comum dos modelos de aprendizado de máquina: a subespecificação, velha conhecida dos estatísticos. Surpreendentemente, decisões aparentemente irrelevantes podem ter um impacto muito grande no desempenho dos modelos em produção, afirma o grupo em um paper documentando a tese.

No fim das contas, um modelo é uma simplificação da realidade, explica Alex D'Amour, líder do estudo. Os modelos geralmente refletem ou imitam o mundo real. Mas da maneira como são ajustados, não há garantia de que seu computador selecione um modelo que reflita a lógica ou a ciência de sua aplicação específica.

O resultado? quando você implanta seu modelo muito preciso e de alto desempenho no conjunto de testes, há uma boa chance de ele imediatamente começar a ter um desempenho ruim no mundo real, custando tempo e dinheiro. Em outras palavras, o processo usado para construir a maioria dos modelos de aprendizado de máquina hoje não pode dizer quais modelos funcionarão no mundo real e quais não.