Meta Llama 3.1-405B AI模型多項(xiàng)跑分逾越 OpenAI GP

網(wǎng)友在 LocalLLaMA 子 Reddit 板塊中發(fā)帖表示，4050億參數(shù)的 Meta Llama 3.1在幾個關(guān)鍵 AI 基準(zhǔn)測試的結(jié)果中，其性能超越了目前的領(lǐng)先者 OpenAI 的 GPT-4o。這代表著開源模型首次擊敗目前最先進(jìn)的閉源模型。

Meta Llama 3.1在 GSM8K、Hellaswag、boolq、MMLU-humanities、MMLU-other、MMLU-stem 和 winograd 等多項(xiàng)測試中均優(yōu)于 GPT-4o，但是，它在 HumanEval 和 MMLU-social sciences 方面卻落后于 GPT-4o。這些數(shù)據(jù)來自 Llama 3.1的基本模型，意味著后續(xù)通過調(diào)整優(yōu)化，可以進(jìn)一步釋放該模型的潛力，在上述基準(zhǔn)測試中邁上更高的臺階。