Benchmarks · Vals AI
GPQA Diamond (Vals-run)
Algemene redeneerbenchmark: wetenschappelijke meerkeuzevragen op masterniveau (Vals draait het zelf; "Archived Benchmark", verzadigd, geen nieuwe modellen meer; laatste update 01-09-2026). Niet juridisch.
- Modellen gemeten
- 109
- Bovenaan
- 95,45 %Gemini 3.1 Pro Preview (02/26)binnen de standaardfout van ±1,05
- Versie
- 1
- Peildatum
- 1 september 2026
01
Ranglijst
Bovenaan: Top 15
Vals AI Legal Research Bench, all-pass [1]. Gestreepte balken vallen af op de compliancepoort.
- 1Gemini 3.1 Pro Preview (02/26)95,45%
- 2GPT-5.6 Sol95,20%
- 3Grok 4.694,70%
- 4Gemini 3.8 Flash94,44%
- 5Gemini 3.7 Flash93,94%
- 6Qwen 3.8 Max93,69%
- 7=Claude Fable 5.193,43%
- 7=Claude Opus 593,43%
- 7=Gemini 3.6 Flash93,43%
- 10=Claude Fable 593,18%
- 10=GPT 5.593,18%
- 12=Grok 4.592,93%
- 12=Kimi K392,93%
- 14=Gemini 3.5 Flash92,68%
- 14=MiniMax-M392,68%
Bron: Vals AI (GPQA Diamond (Vals-run)) · Licentie: CC BY 4.0 · Bewerking: Prudai selecteerde de modellen, vertaalde de uitleg, voegde de poortuitslag en de PrudentScore toe en rondde getallen af op twee decimalen.
| # Model | Score | Kosten/taak | Poort | PrudentScore |
|---|---|---|---|---|
| 1Gemini 3.1 Pro Preview (02/26)Google | 95,45%± 1,05 | - | Valt af | geen score |
| 2GPT-5.6 SolOpenAI | 95,20%± 1,07 | - | Voldoet | 57 |
| 3Grok 4.6xAI (SpaceXAI) | 94,70%± 1,13 | - | Valt af | geen score |
| 4Gemini 3.8 FlashGoogle | 94,44%± 1,48 | - | Voldoet | 62 |
| 5Gemini 3.7 FlashGoogle | 93,94%± 1,49 | - | Voldoet | 58 |
| 6Qwen 3.8 MaxAlibaba | 93,69%± 1,22 | - | Nog niet beoordeeld | geen score |
| 7=Claude Fable 5.1Anthropic | 93,43%± 1,86 | - | Valt af | geen score |
| 7=Claude Opus 5Anthropic | 93,43%± 1,24 | - | Voldoet | 72 |
| 7=Gemini 3.6 FlashGoogle | 93,43%± 1,33 | - | Voldoet | 46 |
| 10=Claude Fable 5Anthropic | 93,18%± 1,94 | - | Valt af | geen score |
| 10=GPT 5.5OpenAI | 93,18%± 1,29 | - | Voldoet | 51 |
| 12=Grok 4.5xAI (SpaceXAI) | 92,93%± 1,29 | - | Valt af | geen score |
| 12=Kimi K3Moonshot AI | 92,93%± 1,31 | - | Valt af | geen score |
| 14=Gemini 3.5 FlashGoogle | 92,68%± 1,46 | - | Voldoet | 47 |
| 14=MiniMax-M3MiniMax | 92,68%± 1,44 | - | Valt af | geen score |
| 16=Claude Opus 4.8Anthropic | 92,42%± 1,98 | - | Voldoet | 62 |
| 16=DeepSeek V4 Pro (0813)DeepSeek | 92,42%± 2,02 | - | Valt af | geen score |
| 18=Gemini 3 Pro (11/25)Google | 91,67%± 1,39 | - | Valt af | geen score |
| 18=GPT 5.2OpenAI | 91,67%± 1,84 | - | Voldoet | geen score |
| 18=GPT 5.4 (xhigh)OpenAI | 91,67%± 1,91 | - | Voldoet | 0 |
| 18=GPT-5.6 LunaOpenAI | 91,67%± 1,74 | - | Voldoet | 56 |
| 22Grok 4.3xAI (SpaceXAI) | 91,41%± 1,41 | - | Valt af | geen score |
| 23Muse Spark 1.1Meta | 91,16%± 2,10 | - | Valt af | geen score |
| 24GPT-5.6 TerraOpenAI | 90,91%± 1,91 | - | Voldoet | 53 |
| 25=Claude Opus 4.7Anthropic | 90,15%± 1,54 | - | Voldoet | 54 |
| 25=Qwen 3.7 MaxAlibaba | 90,15%± 1,50 | - | Nog niet beoordeeld | geen score |
| 27DeepSeek V4 Flash 0731DeepSeek | 89,90%± 1,69 | - | Valt af | geen score |
| 28=Claude Opus 4.6 (Thinking)Anthropic | 89,65%± 1,19 | - | Voldoet | geen score |
| 28=Muse SparkMeta | 89,65%± 1,55 | - | Valt af | geen score |
| 30DeepSeek V4 Pro (2026-04-23)DeepSeek | 89,39%± 1,65 | - | Valt af | geen score |
| 31Kimi K2.6Moonshot AI | 89,14%± 2,00 | - | Valt af | geen score |
| 32=Claude Sonnet 5Anthropic | 88,89%± 2,22 | - | Voldoet | 59 |
| 32=Qwen 3.8 27BAlibaba | 88,89%± 1,58 | - | Valt af | geen score |
| 34Grok 4.20 (Reasoning)xAI (SpaceXAI) | 88,64%± 1,59 | - | Valt af | geen score |
| 35=GLM 5.3Z.ai | 88,13%± 1,85 | - | Valt af | geen score |
| 35=Grok 4xAI (SpaceXAI) | 88,13%± 1,63 | - | Valt af | geen score |
| 37Gemini 3 Flash (12/25)Google | 87,88%± 1,64 | - | Valt af | geen score |
| 38=Qwen 3.5 PlusAlibaba | 87,37%± 1,67 | - | Nog niet beoordeeld | geen score |
| 38=Qwen 3.6 PlusAlibaba | 87,37%± 1,67 | - | Nog niet beoordeeld | geen score |
| 40InklingThinking Machines | 87,12%± 1,78 | - | Valt af | geen score |
| 41=GPT 5.1OpenAI | 86,62%± 1,71 | - | Voldoet | geen score |
| 41=MiniMax-M2.7MiniMax | 86,62%± 1,95 | - | Valt af | geen score |
| 43GLM 5.3 FlashZ.ai | 86,36%± 2,13 | - | Valt af | geen score |
| 44Nemotron 3 UltraNVIDIA | 86,11%± 1,74 | - | Valt af | geen score |
| 45Claude Opus 4.5 (Thinking)Anthropic | 85,86%± 2,48 | - | Voldoet | geen score |
| 46=Claude Sonnet 4.6Anthropic | 85,61%± 2,41 | - | Voldoet | 55 |
| 46=GLM 5.2Z.ai | 85,61%± 1,77 | - | Valt af | geen score |
| 46=GPT 5OpenAI | 85,61%± 1,76 | - | Voldoet | geen score |
| 49Grok 4 Fast (Reasoning)xAI (SpaceXAI) | 85,35%± 1,79 | - | Valt af | geen score |
| 50=Ling 3.0 FlashAnt Group | 84,85%± 2,20 | - | Valt af | geen score |
| 50=Qwen 3 Max ThinkingAlibaba | 84,85%± 1,80 | - | Nog niet beoordeeld | geen score |
| 52GLM 5.1Z.ai | 84,52%± 1,82 | - | Valt af | geen score |
| 53Grok 4.1 Fast (Reasoning)xAI (SpaceXAI) | 84,34%± 1,85 | - | Valt af | geen score |
| 54=Kimi K2.5Moonshot AI | 84,09%± 2,13 | - | Voldoet | 37 |
| 54=o3OpenAI | 84,09%± 1,86 | - | Voldoet | geen score |
| 56Gemini 3.5 Flash LiteGoogle | 83,84%± 1,85 | - | Voldoet | 38 |
| 57Inkling SmallThinking Machines | 83,59%± 2,04 | - | Valt af | geen score |
| 58GLM 5Z.ai | 83,33%± 1,87 | - | Voldoet | geen score |
| 59GPT 5.4 MiniOpenAI | 83,08%± 2,46 | - | Voldoet | 25 |
| 60Qwen 3.5 FlashAlibaba | 82,83%± 1,90 | - | Nog niet beoordeeld | geen score |
| 61MiMo V2.5 ProXiaomi | 82,58%± 2,47 | - | Valt af | geen score |
| 62MiniMax-M2.5MiniMax | 82,07%± 2,26 | - | Voldoet | geen score |
| 63Claude Sonnet 4.5 (Thinking)Anthropic | 81,63%± 2,25 | - | Voldoet | geen score |
| 64=Gemini 2.5 Flash Preview (9/25) (Nonthinking)Google | 81,57%± 2,00 | - | Valt af | geen score |
| 64=MiMo V2.5Xiaomi | 81,57%± 2,05 | - | Valt af | geen score |
| 66Gemini 3.1 Flash Lite PreviewGoogle | 81,06%± 1,97 | - | Nog niet beoordeeld | geen score |
| 67=DeepSeek V3.2 (Thinking)DeepSeek | 80,30%± 2,00 | - | Voldoet | geen score |
| 67=GPT 5 MiniOpenAI | 80,30%± 2,00 | - | Voldoet | geen score |
| 69GLM 4.7Z.ai | 80,05%± 2,01 | - | Voldoet | geen score |
| 70=Claude Opus 4.5 (Nonthinking)Anthropic | 79,55%± 2,46 | - | Voldoet | geen score |
| 70=Qwen 3 MaxAlibaba | 79,55%± 2,03 | - | Nog niet beoordeeld | geen score |
| 72=GPT OSS 120BOpenAI | 78,54%± 2,25 | - | Voldoet | geen score |
| 72=Kimi K2 ThinkingMoonshot AI | 78,54%± 2,18 | - | Valt af | geen score |
| 72=MiniMax-M2.1MiniMax | 78,54%± 2,13 | - | Voldoet | geen score |
| 75Qwen 3 Max PreviewAlibaba | 77,78%± 2,09 | - | Nog niet beoordeeld | geen score |
| 76GPT 5.4 NanoOpenAI | 77,53%± 2,42 | - | Voldoet | 29 |
| 77Gemini 2.5 Flash Preview (9/25) (Thinking)Google | 76,52%± 2,15 | - | Valt af | geen score |
| 78=Claude Opus 4.1 (Thinking)Anthropic | 76,26%± 2,16 | - | Valt af | geen score |
| 78=DeepSeek V3.2 (Nonthinking)DeepSeek | 76,26%± 2,16 | - | Voldoet | geen score |
| 80Claude Sonnet 4 (Thinking)Anthropic | 75,00%± 2,19 | - | Valt af | geen score |
| 81=GLM 4.6Z.ai | 74,50%± 2,20 | - | Valt af | geen score |
| 81=o4 MiniOpenAI | 74,50%± 2,19 | - | Voldoet | geen score |
| 83=Claude Haiku 4.5 (Thinking)Anthropic | 72,22%± 2,47 | - | Voldoet | 32 |
| 83=GLM 4.5Z.ai | 72,22%± 2,26 | - | Valt af | geen score |
| 85Claude Opus 4 (Nonthinking)Anthropic | 71,72%± 2,26 | - | Valt af | geen score |
| 86Kimi K2 InstructMoonshot AI | 71,46%± 2,27 | - | Valt af | geen score |
| 87Gemini 2.5 Flash Lite (9/25) (Thinking)Google | 70,20%± 2,30 | - | Valt af | geen score |
| 88Claude Opus 4.1 (Nonthinking)Anthropic | 69,95%± 2,30 | - | Valt af | geen score |
| 89=Claude Sonnet 4 (Nonthinking)Anthropic | 69,44%± 2,31 | - | Valt af | geen score |
| 89=Llama 4 MaverickMeta | 69,44%± 2,35 | - | Valt af | geen score |
| 91GPT OSS 20BOpenAI | 68,94%± 2,46 | - | Voldoet | geen score |
| 92Mistral Large 3Mistral AI | 68,43%± 2,37 | - | Voldoet | geen score |
| 93GPT 4.1 MiniOpenAI | 67,93%± 2,35 | - | Voldoet | geen score |
| 94GPT 4.1OpenAI | 65,40%± 2,40 | - | Voldoet | geen score |
| 95Grok 4.1 Fast Non-ReasoningxAI (SpaceXAI) | 65,15%± 2,40 | - | Valt af | geen score |
| 96Gemini 2.5 Flash Lite (9/25) (Nonthinking)Google | 64,14%± 2,41 | - | Valt af | geen score |
| 97GPT 5 NanoOpenAI | 63,38%± 2,46 | - | Voldoet | geen score |
| 98Magistral Medium 1.2 (09/2025)Mistral AI | 62,37%± 2,44 | - | Nog niet beoordeeld | geen score |
| 99Grok 4 Fast (Non-Reasoning)xAI (SpaceXAI) | 62,12%± 2,43 | - | Valt af | geen score |
| 100MiMo V2 FlashXiaomi | 59,34%± 2,50 | - | Valt af | geen score |
| 101Magistral Small 1.2 (09/2025)Mistral AI | 58,33%± 2,49 | - | Voldoet | geen score |
| 102Laguna XS.2Poolside | 55,05%± 2,50 | - | Valt af | geen score |
| 103GPT 4o (2024-11-20)OpenAI | 53,79%± 2,51 | - | Voldoet | geen score |
| 104GPT 4.1 NanoOpenAI | 50,76%± 2,46 | - | Voldoet | geen score |
| 105Command ACohere | 48,48%± 2,28 | - | Valt af | geen score |
| 106Llama 4 ScoutMeta | 46,97%± 2,49 | - | Valt af | geen score |
| 107Mistral Small 3.1 (03/2025)Mistral AI | 44,19%± 2,47 | - | Voldoet | geen score |
| 108Mistral Medium 3.5Mistral AI | 34,85%± 2,39 | - | Voldoet | 23 |
| 109Laguna M.1Poolside | 27,02%± 1,92 | - | Valt af | geen score |
Bron: Vals AI (GPQA Diamond (Vals-run)) · Licentie: CC BY 4.0 · Bewerking: Prudai selecteerde de modellen, vertaalde de uitleg, voegde de poortuitslag en de PrudentScore toe en rondde getallen af op twee decimalen.
Vals AI · Versie 1 · Peildatum 1 september 2026 · Naar de bron. De PrudentScore is een samenstelling door Prudai B.V. op basis van openbaar gepubliceerde cijfers en vertegenwoordigt niet de opvatting of goedkeuring van Vals AI, Harvey of Artificial Analysis. Cijfers van Artificial Analysis staan uitsluitend in lopende tekst, met bronvermelding en link, zoals de voorwaarden van die partij voorschrijven [9].
Andere benchmarks
- Legal Research Bench
- Harvey LAB (Vals-uitvoering)
- LegalBench (Vals-leaderboard)
- CaseLaw v2
- TaxEval v2
- Tax Agent Bench
- CorpFin v2
- Immigration Bench
- Access to Justice
- Public Benefits Bench
- Vals Legal Index
- Vals Index
- MMLU Pro (Vals-run)
- Artificial Analysis Intelligence Index
Claude en Anthropic, GPT en OpenAI, Gemini en Google, Grok en xAI, Kimi en Moonshot AI, Muse en Meta, Mistral, DeepSeek, GLM en Z.ai, Harvey, Vals AI en Artificial Analysis zijn handelsmerken van hun respectieve eigenaren. Vermelding dient uitsluitend ter identificatie en impliceert geen samenwerking, sponsoring of goedkeuring.