s
Crédito: Shutterstock

INTELIGÊNCIA ARTIFICIAL

Novo modelo de Inteligência Artificial do Google supera o GPT-3

Com 1,6 trilhão de parâmetros, o Switch Transformer é quase seis vezes maior que o modelo da OpenAI. Resta saber se é mais poderoso.

Por Cristina De Luca 20/01/2021

O GPT-3, da OpenAI é, sem dúvida, o mais famoso modelo de Deep Learning criado nos últimos anos. E uma das coisas que mais impressiona nele é o seu tamanho: 175 bilhões de parâmetro. Pois o Google acaba de anunciar a  criação de um novo modelo com 1,6 trilhão de parâmetros.

Os parâmetros são conhecidos como a chave para algoritmos de aprendizado de máquina. Quanto maior o número de parâmetros, mais sofisticado pode ser um modelo. Mas aumnetar a quantidade de parâmetros não é uma tarefa fácil. Além do custo excessivo, o treinamento dos parâmetros de modelos de linguagem também requer uma grande quantidade de recursos e extrema capacidade computacional.

Para resolver esse problema, os pesquisadores do Google desenvolveram uma técnica que usa apenas um subconjunto dos elementos de um modelo de linguagem. Eles o chamaram de Switch Transformer. E o construíram tendo em mente o princípio de maximizar a contagem de parâmetros de um modelo de uma forma simples e computacionalmente eficiente. A ideia é fazer mais com menos poder de processamento, mantendo os custos computacionais sob controle.

Conteúdo exclusivo para membros da The Shift

Aproveite a promoção e assine

GPT-3 vai dominar o mundo da Inteligência Artificial?

Inteligência Artificial

GPT-3 vai dominar o mundo da Inteligência Artificial?

O modelo de processamento de linguagem da OpenAI foi eleito "Pessoa do Ano" pela Forbes

Por Redação The Shift
Aliança entre Microsoft e OpenAI frustra setor de tecnologia

Inteligência Artificial

Aliança entre Microsoft e OpenAI frustra setor de tecnologia

O processamento de linguagem natural GPT-3 é o modelo de deep learning associado à linguagem com maior potencial de aplicações disruptivas no mercado

Por Redação The Shift
DALL-E e CLIP: uma palavra pode gerar mil imagens

Inteligência Artificial

DALL-E e CLIP: uma palavra pode gerar mil imagens

Modelos de processamento da OpenAI são capazes de criar imagens a partir de textos e classificar imagens de um jeito que nunca se viu

Por Redação The Shift