바이트댄스가 10조 파라미터급 AI 모델 개발에 나서
대규모 모델 개발
중국 인터넷 대기업 바이트댄스가 미국 AI 스타트업 앤트로픽의 '클로드·미토스5'에 맞먹는 규모의 AI 모델 개발에 착수했다. 영국 파이낸셜타임스(FT)가 7일 관계자를 인용해 보도했다.
개발 중인 모델은 AI 규모를 나타내는 파라미터 수가 최대 10조에 이를 전망이다. 중국 스타트업 문샷 AI의 최신 모델 'Kimi K3'보다 3배 큰 규모다.
사내에서 장기 개발 지시
앤트로픽은 파라미터 수를 공개하지 않았지만, 미토스5는 약 8조, 클로드·페이블5는 약 5조로 알려져 있다. 바이트댄스의 모델은 현재 사전학습 단계에 있으며, 이 과정에는 통상 3~6개월이 걸린다고 한다.
중국 매체 펑파이신문은 6일 바이트댄스 창업자 장이밍이 AI 개발팀과의 사내 회의에서 장기적 관점에서 개발을 진행하라고 지시했다고 전했다. 또 기존 AI의 답변 내용인 출력 데이터를 학습시켜 다른 AI를 효율적으로 개발하는 '증류'로 불리는 기법을 금지하고 있다고 보도했다.
이 글이 도움이 되셨다면 공유해 주세요.