ByteDance poursuit le développement d'un modèle d'IA à l'échelle de 10 000 milliards
Développement d'un modèle à grande échelle
Le géant chinois d'internet ByteDance a lancé le développement d'un modèle d'IA d'une taille comparable à 'Claude Mythos 5' de la start-up américaine Anthropic, a rapporté le Financial Times (FT) britannique le 7, citant des sources proches du dossier.
Le modèle en cours de développement devrait atteindre jusqu'à 10 000 milliards de paramètres, l'indicateur qui mesure l'échelle de l'IA. Cela représenterait une taille trois fois supérieure à celle de 'Kimi K3', le dernier modèle de la start-up chinoise Moonshot AI.
Instruction interne pour un développement de long terme
Anthropic n'a pas publié le nombre de paramètres, mais 'Mythos 5' serait d'environ 8 000 milliards et 'Claude Fable 5' d'environ 5 000 milliards. Le modèle de ByteDance en est actuellement à la phase de préapprentissage, une étape qui prend généralement de 3 à 6 mois.
Le média chinois Pengpai News a indiqué le 6 que Zhang Yiming, fondateur de ByteDance, avait demandé lors d'une réunion interne avec l'équipe de développement de l'IA de poursuivre les travaux dans une perspective de long terme. Il a en outre rapporté que ByteDance interdit la 'distillation', une méthode consistant à entraîner une autre IA à partir des données de sortie, c'est-à-dire des réponses produites par une IA existante, afin de développer plus efficacement un autre modèle d'IA.
Si cet article vous a été utile, n’hésitez pas à le partager.