Le 16 juillet, la société Beijing Moonshot AI Technology Co., Ltd. a dévoilé sa nouvelle génération de modèle, Kimi K3, avec un paramétrage de 2 800 milliards de paramètres, ce qui en fait actuellement le modèle open source le plus imposant au monde.

Kimi K3 prend en charge nativement la compréhension visuelle et dispose d'une fenêtre de contexte de 1 million de tokens. Optimisé pour des tâches complexes telles que l'ingénierie logicielle, le travail cognitif, la recherche approfondie et la compréhension multimodale, il renforce significativement la capacité des grands modèles à traiter des missions exigeantes. Lors des évaluations, son niveau d'intelligence globale s'approche de celui des modèles fermés les plus avancés à l'échelle internationale.

Visuel de la marque Kimi K3

Au cours de l'entraînement de cette nouvelle génération de modèle de base, l'entreprise a utilisé une architecture sous-jacente développée en propre et a mis au point un ensemble méthodologique scientifique complet. Grâce à des optimisations portant sur la structure du modèle, les méthodes d'entraînement et la formulation des données, Kimi K3 affiche une efficacité d'extension globale environ 2,5 fois supérieure à celle de la génération précédente, ce qui favorise une meilleure conversion de la puissance de calcul en capacités effectives du modèle.

Moonshot AI a indiqué que les poids complets du modèle seront prochainement publiés, et que les détails de l'architecture, de l'entraînement et des évaluations seront progressivement dévoilés dans les rapports techniques à venir.

Source : Xinhuanet