混合专家模型(英語:mixture of experts,简称MoE),或译为多专家模型,是一种机器学习技术,通过门控(gating)模型将单一任务空间划分为多个子任务,再由多个专家网络(子模型)分别处理特定的子任务,最终得到整体的预测结果。[1]混合专家模型与集成学习有相似之处,它们都应用多个子模型来处理问题。但它们的区别在于,混合专家模型中的每个专家都是针对不同的数据子空间进行训练的,以适应不同类型的输入数据。而集成学习一般而言则是使用多种模型对整个数据空间进行训练。
层级混合专家模型 (英語:hierarchical mixtures of experts)是包含多个层级的混合专家模型。与使用单一门控模型的普通混合专家模型相比,层级混合专家模型中的门控模型呈类似决策树的多层结构,以适应更为复杂与灵活的应用场景。[2]
参考文献