Benchmarks · Vals AI
CaseLaw v2
Meet vraag-en-antwoord over Canadese rechterlijke uitspraken (privé dataset). Vals heeft dit leaderboard gearchiveerd (laatste update 04-05-2026): nieuwere modellen ontbreken. Canadees recht, geen Nederlands.
- Modellen gemeten
- 54
- Bovenaan
- 79,31 %Grok 4.3binnen de standaardfout van ±1,37
- Versie
- 2
- Peildatum
- 4 mei 2026
01
Ranglijst
Bovenaan: Top 15
Vals AI Legal Research Bench, all-pass [1]. Gestreepte balken vallen af op de compliancepoort.
- 1Grok 4.379,31%
- 2GPT 5.173,42%
- 3GPT 4.169,88%
- 4GPT 5 Mini68,49%
- 5Claude Opus 4.768,38%
- 6GPT 566,45%
- 7GPT 5.566,24%
- 8GPT 5.266,02%
- 9Grok 465,81%
- 10=Grok 4 Fast (Reasoning)65,70%
- 10=Kimi K2 Thinking65,70%
- 12Gemini 3.1 Pro Preview (02/26)64,84%
- 13Command A64,52%
- 14Claude Sonnet 4.663,99%
- 15Gemini 2.5 Pro63,88%
Bron: Vals AI (CaseLaw v2) · Licentie: CC BY 4.0 · Bewerking: Prudai selecteerde de modellen, vertaalde de uitleg, voegde de poortuitslag en de PrudentScore toe en rondde getallen af op twee decimalen.
| # Model | Score | Kosten/taak | Poort | PrudentScore |
|---|---|---|---|---|
| 1Grok 4.3xAI (SpaceXAI) | 79,31%± 1,37 | - | Valt af | geen score |
| 2GPT 5.1OpenAI | 73,42%± 0,75 | - | Voldoet | geen score |
| 3GPT 4.1OpenAI | 69,88%± 0,28 | - | Voldoet | geen score |
| 4GPT 5 MiniOpenAI | 68,49%± 1,13 | - | Voldoet | geen score |
| 5Claude Opus 4.7Anthropic | 68,38%± 0,43 | - | Voldoet | 54 |
| 6GPT 5OpenAI | 66,45%± 0,65 | - | Voldoet | geen score |
| 7GPT 5.5OpenAI | 66,24%± 0,32 | - | Voldoet | 51 |
| 8GPT 5.2OpenAI | 66,02%± 0,57 | - | Voldoet | geen score |
| 9Grok 4xAI (SpaceXAI) | 65,81%± 0,21 | - | Valt af | geen score |
| 10=Grok 4 Fast (Reasoning)xAI (SpaceXAI) | 65,70%± 0,43 | - | Valt af | geen score |
| 10=Kimi K2 ThinkingMoonshot AI | 65,70%± 1,82 | - | Valt af | geen score |
| 12Gemini 3.1 Pro Preview (02/26)Google | 64,84%± 1,24 | - | Valt af | geen score |
| 13Command ACohere | 64,52%± 1,09 | - | Valt af | geen score |
| 14Claude Sonnet 4.6Anthropic | 63,99%± 0,56 | - | Voldoet | 55 |
| 15Gemini 2.5 ProGoogle | 63,88%± 0,60 | - | Nog niet beoordeeld | geen score |
| 16GPT 5.4 (xhigh)OpenAI | 63,77%± 2,24 | - | Voldoet | 0 |
| 17Muse SparkMeta | 63,13%± 0,75 | - | Valt af | geen score |
| 18Claude Opus 4.5 (Thinking)Anthropic | 62,59%± 0,11 | - | Voldoet | geen score |
| 19Claude Sonnet 4.5 (Thinking)Anthropic | 62,16%± 1,55 | - | Voldoet | geen score |
| 20Claude Opus 4.6 (Thinking)Anthropic | 62,06%± 0,37 | - | Voldoet | geen score |
| 21Mistral Large 3Mistral AI | 61,41%± 0,96 | - | Voldoet | geen score |
| 22Kimi K2.6Moonshot AI | 61,20%± 2,09 | - | Valt af | geen score |
| 23MiniMax-M2.7MiniMax | 60,88%± 0,77 | - | Valt af | geen score |
| 24Grok 4.1 Fast (Reasoning)xAI (SpaceXAI) | 60,45%± 0,81 | - | Valt af | geen score |
| 25=GPT 4o (2024-11-20)OpenAI | 59,70%± 0,43 | - | Voldoet | geen score |
| 25=Qwen 3.5 PlusAlibaba | 59,70%± 1,13 | - | Nog niet beoordeeld | geen score |
| 27DeepSeek V4 Pro (2026-04-23)DeepSeek | 59,38%± 1,50 | - | Valt af | geen score |
| 28Kimi K2.5Moonshot AI | 58,73%± 0,70 | - | Voldoet | 37 |
| 29Trinity Large ThinkingArcee AI | 57,88%± 1,86 | - | Valt af | geen score |
| 30Claude Haiku 4.5 (Thinking)Anthropic | 56,48%± 0,92 | - | Voldoet | 32 |
| 31Qwen 3.5 FlashAlibaba | 55,95%± 1,16 | - | Nog niet beoordeeld | geen score |
| 32=Gemini 3 Flash (12/25)Google | 55,84%± 0,11 | - | Valt af | geen score |
| 32=MiniMax-M2.1MiniMax | 55,84%± 0,47 | - | Voldoet | geen score |
| 34DeepSeek V3.2 (Thinking)DeepSeek | 55,41%± 0,47 | - | Voldoet | geen score |
| 35=Gemini 3.1 Flash Lite PreviewGoogle | 54,98%± 0,74 | - | Nog niet beoordeeld | geen score |
| 35=Qwen 3 Max ThinkingAlibaba | 54,98%± 1,49 | - | Nog niet beoordeeld | geen score |
| 37GLM 4.7Z.ai | 54,88%± 0,92 | - | Voldoet | geen score |
| 38Grok 4.20 (Reasoning)xAI (SpaceXAI) | 54,45%± 0,28 | - | Valt af | geen score |
| 39DeepSeek V3.1DeepSeek | 53,91%± 0,57 | - | Voldoet | geen score |
| 40MiniMax-M2.5MiniMax | 53,48%± 0,47 | - | Voldoet | geen score |
| 41Qwen 3.6 27BAlibaba | 53,16%± 2,17 | - | Valt af | geen score |
| 42Gemini 3 Pro (11/25)Google | 53,05%± 0,19 | - | Valt af | geen score |
| 43=Gemma 4 31B ITGoogle | 52,63%± 1,34 | - | Voldoet | geen score |
| 43=GPT 5 NanoOpenAI | 52,63%± 1,02 | - | Voldoet | geen score |
| 45GLM 5Z.ai | 52,52%± 1,73 | - | Voldoet | geen score |
| 46GPT 5.4 NanoOpenAI | 51,88%± 1,09 | - | Voldoet | 29 |
| 47GPT 5.4 MiniOpenAI | 51,66%± 0,93 | - | Voldoet | 25 |
| 48GLM 5.1Z.ai | 51,55%± 1,13 | - | Valt af | geen score |
| 49Qwen 3.6 PlusAlibaba | 51,45%± 1,16 | - | Nog niet beoordeeld | geen score |
| 50GPT OSS 120BOpenAI | 48,77%± 0,88 | - | Voldoet | geen score |
| 51Qwen 3.6 Max PreviewAlibaba | 47,91%± 1,11 | - | Nog niet beoordeeld | geen score |
| 52Qwen 3 MaxAlibaba | 47,48%± 0,47 | - | Nog niet beoordeeld | geen score |
| 53Mistral Medium 3.5Mistral AI | 44,16%± 1,06 | - | Voldoet | 23 |
| 54GPT OSS 20BOpenAI | 43,84%± 0,94 | - | Voldoet | geen score |
Bron: Vals AI (CaseLaw v2) · Licentie: CC BY 4.0 · Bewerking: Prudai selecteerde de modellen, vertaalde de uitleg, voegde de poortuitslag en de PrudentScore toe en rondde getallen af op twee decimalen.
Vals AI · Versie 2 · Peildatum 4 mei 2026 · Naar de bron. De PrudentScore is een samenstelling door Prudai B.V. op basis van openbaar gepubliceerde cijfers en vertegenwoordigt niet de opvatting of goedkeuring van Vals AI, Harvey of Artificial Analysis. Cijfers van Artificial Analysis staan uitsluitend in lopende tekst, met bronvermelding en link, zoals de voorwaarden van die partij voorschrijven [9].
Andere benchmarks
- Legal Research Bench
- Harvey LAB (Vals-uitvoering)
- LegalBench (Vals-leaderboard)
- TaxEval v2
- Tax Agent Bench
- CorpFin v2
- Immigration Bench
- Access to Justice
- Public Benefits Bench
- Vals Legal Index
- Vals Index
- GPQA Diamond (Vals-run)
- MMLU Pro (Vals-run)
- Artificial Analysis Intelligence Index
Claude en Anthropic, GPT en OpenAI, Gemini en Google, Grok en xAI, Kimi en Moonshot AI, Muse en Meta, Mistral, DeepSeek, GLM en Z.ai, Harvey, Vals AI en Artificial Analysis zijn handelsmerken van hun respectieve eigenaren. Vermelding dient uitsluitend ter identificatie en impliceert geen samenwerking, sponsoring of goedkeuring.