Modelos de linguagem têm limite?

A expectativa de que os modelos de linguagem se tornem ainda mais poderosos e versáteis ganhou novo impulso na última semana com os lançamentos do Phi-3 e do Snowflake Arctic.

O Phi-3 pertence a uma família de modelos de linguagem criados pela Microsoft para serem pequenos (a ponto de rodarem bem em smartphones), mas treinados em dados da mais alta qualidade. O objetivo é o de que o baixo custo e a portabilidade dos Small Language Models (SLM) de alto desempenho ajudem a IA a funcionar localmente na eletrônica inteligente do dia-a-dia. Sobre ele é relevante saber que:

• Tem 3,8 bilhões de parâmetros treinados em 3,3 trilhões de tokens. Mas apesar de seu tamanho reduzido, tem desempenho equivalente a modelos maiores como Mixtral 8x7B e GPT- 3.5 , atingindo 69% no MMLU e 8,38 no MT-bench.
• Está disponível no Azure, Hugging Face e Ollama.
• Sua criação se baseou no que as iterações anteriores aprenderam. Enquanto Phi-1 se concentrou na codificação e Phi-2 começou a aprender a raciocinar, Phi-3 é melhor em codificação e raciocínio.
• O sucesso do modelo é atribuído ao seu conjunto de dados de treinamento exclusivo, uma versão ampliada daquele usado para phi -2, que inclui dados da web altamente filtrados e dados sintéticos. O modelo também foi projetado para robustez, segurança e formato de chat.

Ah, com a família Phi, a Microsoft também construiu o Orca-Math, um modelo focado na resolução de problemas matemáticos.