s
INTELIGÊNCIA ARTIFICIAL

Modelos de linguagem têm limite?

O lançamento do Phi-3 e do Snowflake Arctic mostra como os novos modelos de linguagem estão cada vez mais avançados.

A expectativa de que os modelos de linguagem se tornem ainda mais poderosos e versáteis ganhou novo impulso na última semana com os lançamentos do Phi-3 e do Snowflake Arctic.

O Phi-3 pertence a uma família de modelos de linguagem criados pela Microsoft para serem pequenos (a ponto de rodarem bem em smartphones), mas treinados em dados da mais alta qualidade. O objetivo é o de que o baixo custo e a portabilidade dos Small Language Models (SLM) de alto desempenho ajudem a IA a funcionar localmente na eletrônica inteligente do dia-a-dia. Sobre ele é relevante saber que:

  • Tem 3,8 bilhões de parâmetros treinados em 3,3 trilhões de tokens. Mas apesar de seu tamanho reduzido, tem desempenho equivalente a modelos maiores como Mixtral 8x7B e GPT- 3.5 , atingindo 69% no MMLU e 8,38 no MT-bench.
  • Está disponível no Azure, Hugging Face e Ollama.
  • Sua criação se baseou no que as iterações anteriores aprenderam. Enquanto Phi-1 se concentrou na codificação e Phi-2 começou a aprender a raciocinar, Phi-3 é melhor em codificação e raciocínio.
  • O sucesso do modelo é atribuído ao seu conjunto de dados de treinamento exclusivo, uma versão ampliada daquele usado para phi -2, que inclui dados da web altamente filtrados e dados sintéticos. O modelo também foi projetado para robustez, segurança e formato de chat.

Ah, com a família Phi, a Microsoft também construiu o Orca-Math, um modelo focado na resolução de problemas matemáticos.

Este é um conteúdo exclusivo para assinantes.

Cadastre-se grátis para ler agora
e acesse 5 conteúdos por mês.

É assinante ou já tem senha? Faça login. Já recebe a newsletter? Ative seu acesso.

Desalinhamento na OpenAI

Inteligência Artificial

Desalinhamento na OpenAI

Após uma semana do lançamento do ChatGPT 4o a OpenAI se envolveu em uma série de polêmicas envolvendo o fechamento da equipe de Superalinhamento e um processo da atriz Scarlett Johansson.

Enfim o primeiro AI OS?

Inteligência Artificial

Enfim o primeiro AI OS?

Os anúncios da Microsoft durante a conferência Build mostram que estamos quase chegando a um OS 100% integrado com IA.

Um chamado à comunidade de IA no Brasil

Inteligência Artificial

Um chamado à comunidade de IA no Brasil

Precisamos unir esforços em torno da ideia de uma "IA soberana" para o nosso país

Por Leonardo Santos *
O J.A.R.V.I.S. está mais próximo

Inteligência Artificial

O J.A.R.V.I.S. está mais próximo

Os lançamentos do GPT-4o, da OpenAI, e do Project Astra, do Google, mostram que estamos mais próximos das Inteligências Artificiais vistas no cinema.

A BYOAI já está entre nós

Inteligência Artificial

A BYOAI já está entre nós

Colaboradores estão cada vez mais utilizando ferramentas de inteligência artificial no trabalho por conta própria, revela estudo da Microsoft.

Modelos de linguagem têm limite?

Inteligência Artificial

Modelos de linguagem têm limite?

O lançamento do Phi-3 e do Snowflake Arctic mostra como os novos modelos de linguagem estão cada vez mais avançados.