据阿里通义千问消息,3月29日,通义千问团队开源首个MoE模型,名为Qwen1.5-MoE-A2.7B。它仅有27亿个激活参数,但性能可与当前公认最先进的70亿参数模型(Mistral7B、Qwen1.5-7B等)相媲美。
据阿里通义千问消息,3月29日,通义千问团队开源首个MoE模型,名为Qwen1.5-MoE-A2.7B。它仅有27亿个激活参数,但性能可与当前公认最先进的70亿参数模型(Mistral7B、Qwen1.5-7B等)相媲美。
Copyright © 2024 编程日记 豫ICP备2022000076号-5
Designed by 风君子. 24次查询,耗时2.326秒.