微软宣布推出一个 27 亿参数的语言模型 Phi-2,并声称其性能可与大 25 倍的模型相匹配或优于。“展示了出色的推理和语言理解能力,展示了参数少于 130 亿的基础语言模型中最先进的性能。”
其基准测试结果表明,只需 27 亿个参数,Phi-2 就能在各种综合基准测试中超越 Mistral 和 Llama-2 模型在 7B 和 13B 参数下的性能。与大 25 倍的 Llama-2-70B 模型相比,Phi-2 在多步推理任务(即编码和数学)上实现了更好的性能。
此外,Phi-2 的性能与最近发布的 Google Gemini Nano 2 不相上下,甚至更胜一筹。
且与经过调整的现有开源模型相比,Phi-2 响应中的 “毒性” 和偏差也要更少。