Ga naar inhoud

Benchmarks · Vals AI

CaseLaw v2

Meet vraag-en-antwoord over Canadese rechterlijke uitspraken (privé dataset). Vals heeft dit leaderboard gearchiveerd (laatste update 04-05-2026): nieuwere modellen ontbreken. Canadees recht, geen Nederlands.

Modellen gemeten
54
Bovenaan
79,31 %Grok 4.3binnen de standaardfout van ±1,37
Versie
2
Peildatum
4 mei 2026
Naar de bronDeze benchmark telt niet mee in de PrudentScore.

01

Ranglijst

Bovenaan: Top 15

Vals AI Legal Research Bench, all-pass [1]. Gestreepte balken vallen af op de compliancepoort.

  1. 1Grok 4.379,31%
  2. 2GPT 5.173,42%
  3. 3GPT 4.169,88%
  4. 4GPT 5 Mini68,49%
  5. 5Claude Opus 4.768,38%
  6. 6GPT 566,45%
  7. 7GPT 5.566,24%
  8. 8GPT 5.266,02%
  9. 9Grok 465,81%
  10. 10=Grok 4 Fast (Reasoning)65,70%
  11. 10=Kimi K2 Thinking65,70%
  12. 12Gemini 3.1 Pro Preview (02/26)64,84%
  13. 13Command A64,52%
  14. 14Claude Sonnet 4.663,99%
  15. 15Gemini 2.5 Pro63,88%

Bron: Vals AI (CaseLaw v2) · Licentie: CC BY 4.0 · Bewerking: Prudai selecteerde de modellen, vertaalde de uitleg, voegde de poortuitslag en de PrudentScore toe en rondde getallen af op twee decimalen.

Voldoet aan de compliancepoortValt af op de compliancepoort
CaseLaw v2 2
# ModelScoreKosten/taakPoortPrudentScore
1Grok 4.3xAI (SpaceXAI)79,31%± 1,37-Valt afgeen score
2GPT 5.1OpenAI73,42%± 0,75-Voldoetgeen score
3GPT 4.1OpenAI69,88%± 0,28-Voldoetgeen score
4GPT 5 MiniOpenAI68,49%± 1,13-Voldoetgeen score
5Claude Opus 4.7Anthropic68,38%± 0,43-Voldoet54
6GPT 5OpenAI66,45%± 0,65-Voldoetgeen score
7GPT 5.5OpenAI66,24%± 0,32-Voldoet51
8GPT 5.2OpenAI66,02%± 0,57-Voldoetgeen score
9Grok 4xAI (SpaceXAI)65,81%± 0,21-Valt afgeen score
10=Grok 4 Fast (Reasoning)xAI (SpaceXAI)65,70%± 0,43-Valt afgeen score
10=Kimi K2 ThinkingMoonshot AI65,70%± 1,82-Valt afgeen score
12Gemini 3.1 Pro Preview (02/26)Google64,84%± 1,24-Valt afgeen score
13Command ACohere64,52%± 1,09-Valt afgeen score
14Claude Sonnet 4.6Anthropic63,99%± 0,56-Voldoet55
15Gemini 2.5 ProGoogle63,88%± 0,60-Nog niet beoordeeldgeen score
16GPT 5.4 (xhigh)OpenAI63,77%± 2,24-Voldoet0
17Muse SparkMeta63,13%± 0,75-Valt afgeen score
18Claude Opus 4.5 (Thinking)Anthropic62,59%± 0,11-Voldoetgeen score
19Claude Sonnet 4.5 (Thinking)Anthropic62,16%± 1,55-Voldoetgeen score
20Claude Opus 4.6 (Thinking)Anthropic62,06%± 0,37-Voldoetgeen score
21Mistral Large 3Mistral AI61,41%± 0,96-Voldoetgeen score
22Kimi K2.6Moonshot AI61,20%± 2,09-Valt afgeen score
23MiniMax-M2.7MiniMax60,88%± 0,77-Valt afgeen score
24Grok 4.1 Fast (Reasoning)xAI (SpaceXAI)60,45%± 0,81-Valt afgeen score
25=GPT 4o (2024-11-20)OpenAI59,70%± 0,43-Voldoetgeen score
25=Qwen 3.5 PlusAlibaba59,70%± 1,13-Nog niet beoordeeldgeen score
27DeepSeek V4 Pro (2026-04-23)DeepSeek59,38%± 1,50-Valt afgeen score
28Kimi K2.5Moonshot AI58,73%± 0,70-Voldoet37
29Trinity Large ThinkingArcee AI57,88%± 1,86-Valt afgeen score
30Claude Haiku 4.5 (Thinking)Anthropic56,48%± 0,92-Voldoet32
31Qwen 3.5 FlashAlibaba55,95%± 1,16-Nog niet beoordeeldgeen score
32=Gemini 3 Flash (12/25)Google55,84%± 0,11-Valt afgeen score
32=MiniMax-M2.1MiniMax55,84%± 0,47-Voldoetgeen score
34DeepSeek V3.2 (Thinking)DeepSeek55,41%± 0,47-Voldoetgeen score
35=Gemini 3.1 Flash Lite PreviewGoogle54,98%± 0,74-Nog niet beoordeeldgeen score
35=Qwen 3 Max ThinkingAlibaba54,98%± 1,49-Nog niet beoordeeldgeen score
37GLM 4.7Z.ai54,88%± 0,92-Voldoetgeen score
38Grok 4.20 (Reasoning)xAI (SpaceXAI)54,45%± 0,28-Valt afgeen score
39DeepSeek V3.1DeepSeek53,91%± 0,57-Voldoetgeen score
40MiniMax-M2.5MiniMax53,48%± 0,47-Voldoetgeen score
41Qwen 3.6 27BAlibaba53,16%± 2,17-Valt afgeen score
42Gemini 3 Pro (11/25)Google53,05%± 0,19-Valt afgeen score
43=Gemma 4 31B ITGoogle52,63%± 1,34-Voldoetgeen score
43=GPT 5 NanoOpenAI52,63%± 1,02-Voldoetgeen score
45GLM 5Z.ai52,52%± 1,73-Voldoetgeen score
46GPT 5.4 NanoOpenAI51,88%± 1,09-Voldoet29
47GPT 5.4 MiniOpenAI51,66%± 0,93-Voldoet25
48GLM 5.1Z.ai51,55%± 1,13-Valt afgeen score
49Qwen 3.6 PlusAlibaba51,45%± 1,16-Nog niet beoordeeldgeen score
50GPT OSS 120BOpenAI48,77%± 0,88-Voldoetgeen score
51Qwen 3.6 Max PreviewAlibaba47,91%± 1,11-Nog niet beoordeeldgeen score
52Qwen 3 MaxAlibaba47,48%± 0,47-Nog niet beoordeeldgeen score
53Mistral Medium 3.5Mistral AI44,16%± 1,06-Voldoet23
54GPT OSS 20BOpenAI43,84%± 0,94-Voldoetgeen score

Bron: Vals AI (CaseLaw v2) · Licentie: CC BY 4.0 · Bewerking: Prudai selecteerde de modellen, vertaalde de uitleg, voegde de poortuitslag en de PrudentScore toe en rondde getallen af op twee decimalen.

Vals AI · Versie 2 · Peildatum 4 mei 2026 · Naar de bron. De PrudentScore is een samenstelling door Prudai B.V. op basis van openbaar gepubliceerde cijfers en vertegenwoordigt niet de opvatting of goedkeuring van Vals AI, Harvey of Artificial Analysis. Cijfers van Artificial Analysis staan uitsluitend in lopende tekst, met bronvermelding en link, zoals de voorwaarden van die partij voorschrijven [9].

Andere benchmarks

Claude en Anthropic, GPT en OpenAI, Gemini en Google, Grok en xAI, Kimi en Moonshot AI, Muse en Meta, Mistral, DeepSeek, GLM en Z.ai, Harvey, Vals AI en Artificial Analysis zijn handelsmerken van hun respectieve eigenaren. Vermelding dient uitsluitend ter identificatie en impliceert geen samenwerking, sponsoring of goedkeuring.