6月3日，昆仑万维宣布开源2千亿稀疏大模型skywork-moe。skywork-moe基于之前昆仑万维开源的skywork-13b模型中间checkpoint扩展而来，是首个完整将moe upcycling技术应用并落地的开源千亿moe大模型，也是首个支持用单台4090服务器推理的开源千亿moe大模型。
昆仑万维方面表示，希望此次开源的skywork-moe模型、技术报告和相关的实验结果可以给开源社区贡献更多的moe训练经验和know-how，包括模型结构、超参选择、训练技巧、训练推理加速等方面，探索用更低的训练推理成本训练更大更强的模型，在通往agi的道路上贡献一点力量。