mh-moe
-
微软让MoE长出多个头，大幅提升专家激活率
mh-moe 能优化几乎所有专家，实现起来非常简单。
混合专家（MoE）是个好方法，支持着现在一些非常优秀的大模型，比如谷歌家的 Gemini 1.5 以及备受关注的 Mixtral 8x7B。
“稀疏混合专家（SMoE）可在不显著增加训练
mh-moe 能优化几乎所有专家，实现起来非常简单。
混合专家（MoE）是个好方法，支持着现在一些非常优秀的大模型，比如谷歌家的 Gemini 1.5 以及备受关注的 Mixtral 8x7B。
“稀疏混合专家（SMoE）可在不显著增加训练
