Ga naar inhoud

Benchmarks · Vals AI

MMLU Pro (Vals-run)

Algemene kennisbenchmark: meerkeuzevragen over 14 vakgebieden, waaronder recht. Vals markeert het leaderboard als "Archived Benchmark": "Since performance on this benchmark has saturated, we no longer run this benchmark on new model releases" (laatste update 01-09-2026).

Modellen gemeten
110
Bovenaan
92,38 %Claude Fable 5.1binnen de standaardfout van ±0,27
Versie
1
Peildatum
1 september 2026
Naar de bronDeze benchmark telt niet mee in de PrudentScore.

01

Ranglijst

Bovenaan: Top 15

Vals AI Legal Research Bench, all-pass [1]. Gestreepte balken vallen af op de compliancepoort.

  1. 1Claude Fable 5.192,38%
  2. 2Claude Opus 591,59%
  3. 3Claude Fable 591,50%
  4. 4Gemini 3.1 Pro Preview (02/26)90,99%
  5. 5Gemini 3.8 Flash90,22%
  6. 6Gemini 3.7 Flash90,12%
  7. 7Gemini 3 Pro (11/25)90,10%
  8. 8Claude Opus 4.789,87%
  9. 9Claude Opus 4.889,58%
  10. 10Gemini 3.5 Flash89,52%
  11. 11Grok 4.689,40%
  12. 12Qwen 3.7 Max89,31%
  13. 13Gemini 3.6 Flash89,28%
  14. 14Grok 4.589,22%
  15. 15Claude Opus 4.6 (Thinking)89,11%

Bron: Vals AI (MMLU Pro (Vals-run)) · Licentie: CC BY 4.0 · Bewerking: Prudai selecteerde de modellen, vertaalde de uitleg, voegde de poortuitslag en de PrudentScore toe en rondde getallen af op twee decimalen.

Voldoet aan de compliancepoortValt af op de compliancepoort
MMLU Pro (Vals-run) 1
# ModelScoreKosten/taakPoortPrudentScore
1Claude Fable 5.1Anthropic92,38%± 0,27-Valt afgeen score
2Claude Opus 5Anthropic91,59%± 0,28-Voldoet72
3Claude Fable 5Anthropic91,50%± 0,28-Valt afgeen score
4Gemini 3.1 Pro Preview (02/26)Google90,99%± 0,28-Valt afgeen score
5Gemini 3.8 FlashGoogle90,22%± 0,29-Voldoet62
6Gemini 3.7 FlashGoogle90,12%± 0,30-Voldoet58
7Gemini 3 Pro (11/25)Google90,10%± 0,29-Valt afgeen score
8Claude Opus 4.7Anthropic89,87%± 0,30-Voldoet54
9Claude Opus 4.8Anthropic89,58%± 0,30-Voldoet62
10Gemini 3.5 FlashGoogle89,52%± 0,31-Voldoet47
11Grok 4.6xAI (SpaceXAI)89,40%± 0,30-Valt afgeen score
12Qwen 3.7 MaxAlibaba89,31%± 0,30-Nog niet beoordeeldgeen score
13Gemini 3.6 FlashGoogle89,28%± 0,30-Voldoet46
14Grok 4.5xAI (SpaceXAI)89,22%± 0,31-Valt afgeen score
15Claude Opus 4.6 (Thinking)Anthropic89,11%± 0,46-Voldoetgeen score
16GPT-5.6 SolOpenAI89,10%± 0,31-Voldoet57
17Muse Spark 1.1Meta88,73%± 0,32-Valt afgeen score
18Qwen 3.8 MaxAlibaba88,60%± 0,31-Nog niet beoordeeldgeen score
19Gemini 3 Flash (12/25)Google88,59%± 0,32-Valt afgeen score
20Muse Spark 1.2Meta88,28%± 0,32-Valt afgeen score
21GPT 5.5OpenAI88,14%± 0,32-Voldoet51
22Kimi K3Moonshot AI87,97%± 0,32-Valt afgeen score
23Claude Opus 4.1 (Thinking)Anthropic87,92%± 0,33-Valt afgeen score
24Qwen 3.6 PlusAlibaba87,67%± 0,32-Nog niet beoordeeldgeen score
25Kimi K2.6Moonshot AI87,57%± 0,33-Valt afgeen score
26Claude Sonnet 5Anthropic87,55%± 0,37-Voldoet59
27GPT 5.4 (xhigh)OpenAI87,48%± 0,42-Voldoet0
28Claude Sonnet 4.5 (Thinking)Anthropic87,36%± 0,39-Voldoetgeen score
29Claude Sonnet 4.6Anthropic87,34%± 0,43-Voldoet55
30Muse SparkMeta87,32%± 0,33-Valt afgeen score
31Claude Opus 4.5 (Thinking)Anthropic87,26%± 0,38-Voldoetgeen score
32DeepSeek V4 Pro (2026-04-23)DeepSeek87,25%± 0,34-Valt afgeen score
33Claude Opus 4.1 (Nonthinking)Anthropic87,21%± 0,33-Valt afgeen score
34Qwen 3.5 PlusAlibaba87,18%± 0,33-Nog niet beoordeeldgeen score
35MiniMax-M2.1MiniMax87,05%± 0,33-Voldoetgeen score
36DeepSeek V4 Pro (0813)DeepSeek86,97%± 0,34-Valt afgeen score
37GLM 5.1Z.ai86,90%± 0,33-Valt afgeen score
38GLM 5.3Z.ai86,77%± 0,34-Valt afgeen score
39GLM 5.2Z.ai86,71%± 0,33-Valt afgeen score
40GPT-5.6 TerraOpenAI86,66%± 0,33-Voldoet53
41GPT 5OpenAI86,54%± 0,34-Voldoetgeen score
42GPT 5.1OpenAI86,38%± 0,34-Voldoetgeen score
43InklingThinking Machines86,30%± 0,34-Valt afgeen score
44Grok 4.20 (Reasoning)xAI (SpaceXAI)86,25%± 0,34-Valt afgeen score
45Gemini 3.1 Flash Lite PreviewGoogle86,24%± 0,34-Nog niet beoordeeldgeen score
46GPT 5.2OpenAI86,23%± 0,34-Voldoetgeen score
47DeepSeek V4 Flash 0731DeepSeek86,21%± 0,34-Valt afgeen score
48Claude Opus 4 (Nonthinking)Anthropic86,17%± 0,34-Valt afgeen score
49GLM 5.3 FlashZ.ai86,06%± 0,34-Valt afgeen score
50GPT-5.6 LunaOpenAI86,04%± 0,35-Voldoet56
51GLM 5Z.ai86,03%± 0,34-Voldoetgeen score
52Kimi K2.5Moonshot AI85,91%± 0,34-Voldoet37
53Grok 4.3xAI (SpaceXAI)85,84%± 0,33-Valt afgeen score
54Gemini 3.5 Flash LiteGoogle85,84%± 0,34-Voldoet38
55Nemotron 3 UltraNVIDIA85,76%± 0,34-Valt afgeen score
56o3OpenAI85,59%± 0,34-Voldoetgeen score
57Claude Opus 4.5 (Nonthinking)Anthropic85,59%± 0,37-Voldoetgeen score
58Inkling SmallThinking Machines85,57%± 0,35-Valt afgeen score
59Grok 4xAI (SpaceXAI)85,30%± 0,35-Valt afgeen score
60Qwen 3 Max ThinkingAlibaba84,98%± 0,35-Nog niet beoordeeldgeen score
61DeepSeek V3.2 (Thinking)DeepSeek84,92%± 0,35-Voldoetgeen score
62MiMo V2.5 ProXiaomi84,59%± 0,45-Valt afgeen score
63GPT 5.4 MiniOpenAI84,55%± 0,36-Voldoet25
64Qwen 3 MaxAlibaba84,36%± 0,36-Nog niet beoordeeldgeen score
65Qwen 3.8 27BAlibaba84,34%± 0,36-Valt afgeen score
66MiniMax-M3MiniMax84,22%± 0,36-Valt afgeen score
67Grok 4.1 Fast (Reasoning)xAI (SpaceXAI)84,18%± 0,36-Valt afgeen score
68Qwen 3.5 FlashAlibaba84,06%± 0,36-Nog niet beoordeeldgeen score
69Claude Sonnet 4 (Thinking)Anthropic83,86%± 0,36-Valt afgeen score
70Gemini 2.5 Flash Preview (9/25) (Nonthinking)Google83,69%± 0,36-Valt afgeen score
71Gemini 2.5 Flash Preview (9/25) (Thinking)Google83,66%± 0,36-Valt afgeen score
72Qwen 3 Max PreviewAlibaba83,54%± 0,36-Nog niet beoordeeldgeen score
73DeepSeek V3.2 (Nonthinking)DeepSeek83,06%± 0,38-Voldoetgeen score
74MiMo V2.5Xiaomi82,93%± 0,37-Valt afgeen score
75GLM 4.7Z.ai82,74%± 0,37-Voldoetgeen score
76GPT 5 MiniOpenAI82,23%± 0,37-Voldoetgeen score
77GLM 4.6Z.ai82,20%± 0,38-Valt afgeen score
78Ling 3.0 FlashAnt Group82,01%± 0,38-Valt afgeen score
79GLM 4.5Z.ai81,22%± 0,38-Valt afgeen score
80Kimi K2 ThinkingMoonshot AI81,07%± 0,40-Valt afgeen score
81o4 MiniOpenAI80,56%± 0,39-Voldoetgeen score
82GPT 4.1OpenAI80,50%± 0,39-Voldoetgeen score
83MiniMax-M2.7MiniMax80,43%± 0,39-Valt afgeen score
84MiniMax-M2.5MiniMax80,09%± 0,39-Voldoetgeen score
85Mistral Large 3Mistral AI79,82%± 0,47-Voldoetgeen score
86Grok 4 Fast (Reasoning)xAI (SpaceXAI)79,70%± 0,39-Valt afgeen score
87Claude Sonnet 4 (Nonthinking)Anthropic79,43%± 0,37-Valt afgeen score
88Llama 4 MaverickMeta79,42%± 0,40-Valt afgeen score
89Kimi K2 InstructMoonshot AI79,39%± 0,39-Valt afgeen score
90GPT OSS 120BOpenAI79,17%± 0,40-Voldoetgeen score
91Gemini 2.5 Flash Lite (9/25) (Thinking)Google79,12%± 0,40-Valt afgeen score
92Claude Haiku 4.5 (Thinking)Anthropic78,72%± 0,48-Voldoet32
93Gemini 2.5 Flash Lite (9/25) (Nonthinking)Google78,64%± 0,40-Valt afgeen score
94GPT 4.1 MiniOpenAI77,22%± 0,41-Voldoetgeen score
95GPT 5.4 NanoOpenAI77,17%± 0,43-Voldoet29
96GPT 5 NanoOpenAI76,07%± 0,41-Voldoetgeen score
97Mistral Medium 3.5Mistral AI75,33%± 0,42-Voldoet23
98Mistral Medium 3.1 (05/2025)Mistral AI75,29%± 0,42-Voldoetgeen score
99Grok 4.1 Fast Non-ReasoningxAI (SpaceXAI)75,21%± 0,42-Valt afgeen score
100GPT 4o (2024-11-20)OpenAI72,56%± 0,44-Voldoetgeen score
101GPT OSS 20BOpenAI71,64%± 0,45-Voldoetgeen score
102Grok 4 Fast (Non-Reasoning)xAI (SpaceXAI)70,34%± 0,43-Valt afgeen score
103Llama 4 ScoutMeta69,63%± 0,45-Valt afgeen score
104Command ACohere69,17%± 0,46-Valt afgeen score
105Laguna XS.2Poolside69,05%± 0,48-Valt afgeen score
106Laguna M.1Poolside68,84%± 0,45-Valt afgeen score
107Magistral Medium 1.2 (09/2025)Mistral AI68,66%± 0,43-Nog niet beoordeeldgeen score
108Mistral Small 3.1 (03/2025)Mistral AI66,02%± 0,46-Voldoetgeen score
109GPT 4.1 NanoOpenAI63,48%± 0,46-Voldoetgeen score
110Magistral Small 1.2 (09/2025)Mistral AI62,13%± 0,45-Voldoetgeen score

Bron: Vals AI (MMLU Pro (Vals-run)) · Licentie: CC BY 4.0 · Bewerking: Prudai selecteerde de modellen, vertaalde de uitleg, voegde de poortuitslag en de PrudentScore toe en rondde getallen af op twee decimalen.

Vals AI · Versie 1 · Peildatum 1 september 2026 · Naar de bron. De PrudentScore is een samenstelling door Prudai B.V. op basis van openbaar gepubliceerde cijfers en vertegenwoordigt niet de opvatting of goedkeuring van Vals AI, Harvey of Artificial Analysis. Cijfers van Artificial Analysis staan uitsluitend in lopende tekst, met bronvermelding en link, zoals de voorwaarden van die partij voorschrijven [9].

Andere benchmarks

Claude en Anthropic, GPT en OpenAI, Gemini en Google, Grok en xAI, Kimi en Moonshot AI, Muse en Meta, Mistral, DeepSeek, GLM en Z.ai, Harvey, Vals AI en Artificial Analysis zijn handelsmerken van hun respectieve eigenaren. Vermelding dient uitsluitend ter identificatie en impliceert geen samenwerking, sponsoring of goedkeuring.