ByteDance thúc đẩy phát triển mô hình AI quy mô 10 nghìn tỷ
Phát triển mô hình quy mô lớn
Tập đoàn internet Trung Quốc ByteDance đã bắt tay phát triển một mô hình AI có quy mô tương đương với 'Claude Mythos 5' của công ty khởi nghiệp AI Mỹ Anthropic. Financial Times (FT) của Anh ngày 7, dẫn lời các nguồn tin, đưa tin.
Mô hình đang được phát triển dự kiến sẽ có số lượng tham số, thước đo quy mô của AI, lên tới tối đa 10 nghìn tỷ. Quy mô này sẽ lớn gấp 3 lần so với mô hình mới nhất 'Kimi K3' của công ty khởi nghiệp Trung Quốc Moonshot AI.
Chỉ đạo phát triển dài hạn trong nội bộ
Anthropic không công bố số lượng tham số, nhưng 'Mythos 5' được cho là khoảng 8 nghìn tỷ, còn 'Claude Fable 5' vào khoảng 5 nghìn tỷ. Mô hình của ByteDance hiện đang ở giai đoạn tiền huấn luyện, một quy trình thường mất từ 3 đến 6 tháng.
Báo Trung Quốc Pengpai News ngày 6 đưa tin ông Trương Nhất Minh, nhà sáng lập ByteDance, đã chỉ thị trong một cuộc họp nội bộ với nhóm phát triển AI rằng cần triển khai theo tầm nhìn dài hạn. Ngoài ra, báo cho biết công ty cũng cấm phương pháp gọi là 'chưng cất', tức dùng dữ liệu đầu ra là nội dung trả lời của AI hiện có để huấn luyện và phát triển hiệu quả một AI khác.
Nếu bài viết này hữu ích, hãy chia sẻ nhé.