ByteDance avança no desenvolvimento de modelo de IA de 10 trilhões
Desenvolvimento de modelo de grande porte
A ByteDance, gigante chinesa da internet, iniciou o desenvolvimento de um modelo de IA de escala comparável ao 'Claude Mythos 5' da startup americana de IA Anthropic. O Financial Times (FT) informou no dia 7, citando pessoas familiarizadas com o assunto.
O modelo em desenvolvimento deverá chegar a até 10 trilhões de parâmetros, indicador que mede a escala da IA. Isso seria três vezes o tamanho do mais recente modelo 'Kimi K3' da startup chinesa Moonshot AI.
Instrução para desenvolvimento de longo prazo
A Anthropic não divulgou o número de parâmetros, mas o Mythos 5 é estimado em cerca de 8 trilhões, e o Claude Fable 5 em cerca de 5 trilhões. O modelo da ByteDance está atualmente na fase de pré-treinamento, etapa que normalmente leva de 3 a 6 meses.
O jornal chinês Pengpai News informou no dia 6 que Zhang Yiming, fundador da ByteDance, instruiu em uma reunião interna com a equipe de desenvolvimento de IA que o trabalho seja conduzido com visão de longo prazo. O veículo também afirmou que a empresa proibiu um método chamado 'destilação', no qual dados de saída, isto é, respostas de uma IA existente, são usados para treinar outra IA de forma mais eficiente.
Se este artigo foi útil para você, compartilhe-o.