Ga naar inhoud

Benchmarks · Vals AI

Legal Research Bench

Let op: de vragen gaan over Amerikaans recht; er is geen Vals-benchmark voor Nederlands of Europees recht. Meet of een AI-agent met zoektools een juridische onderzoeksvraag volledig correct beantwoordt: 208 testvragen (privé testset, uit 413 door juridische experts geschreven en gereviewde vragen) over acht rechtsgebieden, beoordeeld door GPT-5.4 als rechter op een rubric; "all-pass" telt alleen als elk criterium wordt gehaald.

Modellen gemeten
91
Bovenaan
55,77 %Gemini 4 Carbonbinnen de standaardfout van ±3,45
Versie
1
Peildatum
9 november 2026
Naar de bronIn de PrudentScore telt versie 1 van deze benchmark voor 50 procent mee.

01

Ranglijst

Bovenaan: Top 15

Vals AI Legal Research Bench, all-pass [1]. Gestreepte balken vallen af op de compliancepoort.

  1. 1Gemini 4 Carbon55,77%
  2. 2=Claude Fable 5.155,29%
  3. 2=Claude Opus 555,29%
  4. 2=Muse Spark 1.3 (Max)55,29%
  5. 5Gemini 4 Argon54,81%
  6. 6Wonder Full53,37%
  7. 7=Claude Opus 5.550,48%
  8. 7=Wonder50,48%
  9. 9Claude Fable 549,52%
  10. 10=GLM 5.349,04%
  11. 10=Muse Ember49,04%
  12. 12=Claude Sonnet 5.548,08%
  13. 12=GPT-5.6 Sol48,08%
  14. 12=Grok 4.648,08%
  15. 15Qwen 3.8 Max47,60%

Bron: Vals AI (Legal Research Bench) · Licentie: CC BY 4.0 · Bewerking: Prudai selecteerde de modellen, vertaalde de uitleg, voegde de poortuitslag en de PrudentScore toe en rondde getallen af op twee decimalen.

Voldoet aan de compliancepoortValt af op de compliancepoort
Kwaliteit tegen kosten per taakElk punt is een model: kosten per voltooide taak in dollars (logaritmisch) tegen all-pass op juridisch onderzoek [1]. Linksboven is goedkoop en goed. De stippellijn is de Pareto-frontier van de modellen die de poort halen: geen ander model dat de poort haalt is tegelijk goedkoper én beter. Klik op een punt voor de modelpagina.
Voldoet aan de compliancepoortValt af op de compliancepoortPareto-frontier (poort gehaald)

Beweeg over een punt voor de cijfers. Modellen zonder gepubliceerde kosten per taak staan niet in deze grafiek.

Kosten per voltooide taak tegenover de score op juridisch onderzoek: Gemini 4 Argon: $6,45, 54,81%, Voldoet aan de compliancepoort, op de Pareto-frontier. Gemini 4 Carbon: $8,74, 55,77%, Voldoet aan de compliancepoort, op de Pareto-frontier. Claude Opus 5: $6,76, 55,29%, Voldoet aan de compliancepoort, op de Pareto-frontier. Claude Opus 5.5: $23,61, 50,48%, Voldoet aan de compliancepoort. Claude Opus 4.8: $2,82, 43,75%, Voldoet aan de compliancepoort. Gemini 3.8 Flash: $1,63, 38,94%, Voldoet aan de compliancepoort, op de Pareto-frontier. Claude Sonnet 5.5: $13,66, 48,08%, Voldoet aan de compliancepoort. Claude Haiku 5.5: $1,65, 43,75%, Voldoet aan de compliancepoort, op de Pareto-frontier. Claude Sonnet 5: $2,72, 41,83%, Voldoet aan de compliancepoort. GPT-6.1 Sol: $3,38, 38,46%, Voldoet aan de compliancepoort. Gemini 3.7 Flash: $0,76, 34,62%, Voldoet aan de compliancepoort, op de Pareto-frontier. GPT-5.6 Sol: $21,61, 48,08%, Voldoet aan de compliancepoort. GPT-5.6 Luna: $0,84, 36,54%, Voldoet aan de compliancepoort, op de Pareto-frontier. GPT-6 Astra: $10,58, 39,42%, Voldoet aan de compliancepoort. Claude Sonnet 4.6: $2,30, 38,46%, Voldoet aan de compliancepoort. Claude Opus 4.7: $3,06, 38,46%, Voldoet aan de compliancepoort. GPT-6 Luna: $0,44, 30,29%, Voldoet aan de compliancepoort, op de Pareto-frontier. GPT-5.6 Terra: $7,91, 41,35%, Voldoet aan de compliancepoort. GPT 5.5: $7,40, 40,38%, Voldoet aan de compliancepoort. Gemini 3.5 Flash: $1,31, 30,77%, Voldoet aan de compliancepoort. Gemini 3.6 Flash: $0,47, 25,00%, Voldoet aan de compliancepoort. GPT-6 Sol: $4,90, 28,85%, Voldoet aan de compliancepoort. GPT-6.1 Terra: $3,22, 25,96%, Voldoet aan de compliancepoort. Gemini 3.5 Flash Lite: $0,12, 13,94%, Voldoet aan de compliancepoort, op de Pareto-frontier. Kimi K2.5: $0,23, 15,87%, Voldoet aan de compliancepoort, op de Pareto-frontier. Claude Haiku 4.5 (Thinking): $0,27, 10,58%, Voldoet aan de compliancepoort. GPT 5.4 Nano: $0,14, 6,25%, Voldoet aan de compliancepoort. GPT 5.4 Mini: $1,86, 12,50%, Voldoet aan de compliancepoort. Mistral Medium 3.5: $1,31, 9,13%, Voldoet aan de compliancepoort. Claude Fable 5.1: $23,06, 55,29%, Valt af op de compliancepoort. Muse Spark 1.3 (Max): $0,59, 55,29%, Valt af op de compliancepoort. Wonder Full: $3,60, 53,37%, Valt af op de compliancepoort. Wonder: $3,98, 50,48%, Valt af op de compliancepoort. Claude Fable 5: $9,79, 49,52%, Valt af op de compliancepoort. GLM 5.3: $2,24, 49,04%, Valt af op de compliancepoort. Muse Ember: $0,06, 49,04%, Valt af op de compliancepoort. Grok 4.6: $1,53, 48,08%, Valt af op de compliancepoort. Qwen 3.8 Max: $2,49, 47,60%, Poort nog niet beoordeeld. Grok 4.7: $4,92, 47,12%, Valt af op de compliancepoort. MiMo V2.6 Pro: $0,18, 47,12%, Valt af op de compliancepoort. Inkling 2 Small: $0,29, 46,63%, Valt af op de compliancepoort. Claude Fable 5.2: $3,96, 46,15%, Valt af op de compliancepoort. Kimi K3: $3,47, 46,15%, Valt af op de compliancepoort. DeepSeek V4.1 Flash 1017: $0,70, 45,19%, Valt af op de compliancepoort. GLM 5.3 Flash: $0,24, 45,19%, Valt af op de compliancepoort. Hy4 Preview: $0,85, 45,19%, Valt af op de compliancepoort. Ember-1: $3,67, 44,71%, Poort nog niet beoordeeld. Muse Spark 1.2: $0,51, 43,75%, Valt af op de compliancepoort. GLM Legal: $0,05, 41,83%, Valt af op de compliancepoort. DeepSeek V4.1 Flash: $0,25, 41,35%, Valt af op de compliancepoort. Hy4: $2,22, 41,35%, Valt af op de compliancepoort. DeepSeek V4 Pro (0813): $1,09, 40,87%, Valt af op de compliancepoort. Muse Spark 1.3: $0,65, 40,87%, Valt af op de compliancepoort. Step 5 Preview: $0,84, 40,38%, Valt af op de compliancepoort. Muse Spark Open: $1,56, 38,46%, Valt af op de compliancepoort. Grok 4.5: $1,09, 37,98%, Valt af op de compliancepoort. MiMo V2.6 Flash: $0,07, 37,98%, Valt af op de compliancepoort. Muse Spark 1.1: $0,38, 37,98%, Valt af op de compliancepoort. Kimi K3.1 Pro: $7,23, 37,50%, Valt af op de compliancepoort. Qwen 3.8 27B: $2,16, 36,06%, Valt af op de compliancepoort. Mistral Large 4 (GA, 26.10): $1,09, 35,58%, Poort nog niet beoordeeld. MiniMax-M3.1-Flash: $0,44, 34,13%, Valt af op de compliancepoort. Mistral Large 4 (preview): $2,72, 31,73%, Valt af op de compliancepoort. GLM 5.2: $0,89, 31,25%, Valt af op de compliancepoort. DeepSeek V4 Flash 0731: $0,28, 30,29%, Valt af op de compliancepoort. MiniMax-M3: $0,34, 29,81%, Valt af op de compliancepoort. Mercury 3: $0,07, 28,85%, Poort nog niet beoordeeld. Inkling: $0,49, 28,36%, Valt af op de compliancepoort. GLM 5.1: $0,39, 27,89%, Valt af op de compliancepoort. Inkling Small: $0,14, 25,48%, Valt af op de compliancepoort. Qwen 3.7 Max: $1,40, 25,48%, Poort nog niet beoordeeld. DeepSeek V4 Pro (2026-04-23): $0,68, 23,08%, Valt af op de compliancepoort. Gemini 3.1 Pro Preview (02/26): $1,10, 20,67%, Valt af op de compliancepoort. Gemini 3 Flash (12/25): $0,14, 18,27%, Valt af op de compliancepoort. Qwen 3.7 Plus: $0,30, 16,35%, Poort nog niet beoordeeld. Kimi K2.6: $1,52, 15,87%, Valt af op de compliancepoort. MiMo V2.5 Pro: $0,08, 15,87%, Valt af op de compliancepoort. Grok 4.3: $0,20, 15,38%, Valt af op de compliancepoort. Qwen 3.6 Plus: $0,70, 14,90%, Poort nog niet beoordeeld. Grok 4.20 (Reasoning): $0,26, 13,94%, Valt af op de compliancepoort. MiniMax-M2.7: $0,22, 10,58%, Valt af op de compliancepoort. Nemotron 3.5 Super VL: $0,06, 10,10%, Valt af op de compliancepoort. MiMo V2.5: $0,03, 9,13%, Valt af op de compliancepoort. Mercury 2.5: $0,06, 4,33%, Poort nog niet beoordeeld. Gemini 3.1 Flash Lite Preview: $0,01, 3,37%, Poort nog niet beoordeeld. Nemotron 3.5 Lightning: < $0,01, 2,88%, Valt af op de compliancepoort. Laguna M.1: $0,22, 2,40%, Valt af op de compliancepoort. Laguna XS.2: $0,11, 0,96%, Valt af op de compliancepoort. Ling 3.0 Flash: $0,04, 0,00%, Valt af op de compliancepoort.

Legal Research Bench 1
# ModelScoreKosten/taakPoortPrudentScore
1Gemini 4 CarbonGoogle55,77%± 3,45$8,74Voldoet77
2=Claude Fable 5.1Anthropic55,29%± 3,46$23,06Valt afgeen score
2=Claude Opus 5Anthropic55,29%± 3,46$6,76Voldoet72
2=Muse Spark 1.3 (Max)Meta55,29%± 3,46$0,59Valt afgeen score
5Gemini 4 ArgonGoogle54,81%± 3,46$6,45Voldoet79
6Wonder FullMeta53,37%± 3,47$3,60Valt afgeen score
7=Claude Opus 5.5Anthropic50,48%± 3,48$23,61Voldoet63
7=WonderMeta50,48%± 3,48$3,98Valt afgeen score
9Claude Fable 5Anthropic49,52%± 3,48$9,79Valt afgeen score
10=GLM 5.3Z.ai49,04%± 3,48$2,24Valt afgeen score
10=Muse EmberMeta49,04%± 3,48$0,06Valt afgeen score
12=Claude Sonnet 5.5Anthropic48,08%± 3,47$13,66Voldoet62
12=GPT-5.6 SolOpenAI48,08%± 3,47$21,61Voldoet57
12=Grok 4.6xAI (SpaceXAI)48,08%± 3,47$1,53Valt afgeen score
15Qwen 3.8 MaxAlibaba47,60%± 3,47$2,49Nog niet beoordeeldgeen score
16=Grok 4.7xAI (SpaceXAI)47,12%± 3,47$4,92Valt afgeen score
16=MiMo V2.6 ProXiaomi47,12%± 3,47$0,18Valt afgeen score
18Inkling 2 SmallThinking Machines46,63%± 3,47$0,29Valt afgeen score
19=Claude Fable 5.2Anthropic46,15%± 3,46$3,96Valt afgeen score
19=Kimi K3Moonshot AI46,15%± 3,46$3,47Valt afgeen score
21=DeepSeek V4.1 Flash 1017DeepSeek45,19%± 3,46$0,70Valt afgeen score
21=GLM 5.3 FlashZ.ai45,19%± 3,46$0,24Valt afgeen score
21=Hy4 PreviewTencent45,19%± 3,46$0,85Valt afgeen score
24Ember-1Fireworks AI44,71%± 3,46$3,67Nog niet beoordeeldgeen score
25=Claude Haiku 5.5Anthropic43,75%± 3,45$1,65Voldoet59
25=Claude Opus 4.8Anthropic43,75%± 3,45$2,82Voldoet62
25=Muse Spark 1.2Meta43,75%± 3,45$0,51Valt afgeen score
28=Claude Sonnet 5Anthropic41,83%± 3,43$2,72Voldoet59
28=GLM LegalZ.ai41,83%± 3,43$0,05Valt afgeen score
30=DeepSeek V4.1 FlashDeepSeek41,35%± 3,42$0,25Valt afgeen score
30=GPT-5.6 TerraOpenAI41,35%± 3,42$7,91Voldoet53
30=Hy4Tencent41,35%± 3,42$2,22Valt afgeen score
33=DeepSeek V4 Pro (0813)DeepSeek40,87%± 3,42$1,09Valt afgeen score
33=Muse Spark 1.3Meta40,87%± 3,42$0,65Valt afgeen score
35=GPT 5.5OpenAI40,38%± 3,41$7,40Voldoet51
35=Step 5 PreviewStepFun40,38%± 3,41$0,84Valt afgeen score
37GPT-6 AstraOpenAI39,42%± 3,40$10,58Voldoet56
38Gemini 3.8 FlashGoogle38,94%± 3,39$1,63Voldoet62
39=Claude Opus 4.7Anthropic38,46%± 3,38$3,06Voldoet54
39=Claude Sonnet 4.6Anthropic38,46%± 3,38$2,30Voldoet55
39=GPT-6.1 SolOpenAI38,46%± 3,38$3,38Voldoet59
39=Muse Spark OpenMeta38,46%± 3,38$1,56Valt afgeen score
43=Grok 4.5xAI (SpaceXAI)37,98%± 3,37$1,09Valt afgeen score
43=MiMo V2.6 FlashXiaomi37,98%± 3,37$0,07Valt afgeen score
43=Muse Spark 1.1Meta37,98%± 3,37$0,38Valt afgeen score
46Kimi K3.1 ProMoonshot AI37,50%± 3,37$7,23Valt afgeen score
47GPT-5.6 LunaOpenAI36,54%± 3,35$0,84Voldoet56
48Qwen 3.8 27BAlibaba36,06%± 3,34$2,16Valt afgeen score
49Mistral Large 4 (GA, 26.10)Mistral AI35,58%± 3,33$1,09Nog niet beoordeeldgeen score
50Gemini 3.7 FlashGoogle34,62%± 3,31$0,76Voldoet58
51MiniMax-M3.1-FlashMiniMax34,13%± 3,30$0,44Valt afgeen score
52Mistral Large 4 (preview)Mistral AI31,73%± 3,23$2,72Valt afgeen score
53GLM 5.2Z.ai31,25%± 3,22$0,89Valt afgeen score
54Gemini 3.5 FlashGoogle30,77%± 3,21$1,31Voldoet47
55=DeepSeek V4 Flash 0731DeepSeek30,29%± 3,19$0,28Valt afgeen score
55=GPT-6 LunaOpenAI30,29%± 3,19$0,44Voldoet54
57MiniMax-M3MiniMax29,81%± 3,18$0,34Valt afgeen score
58=Beam 1.0Reflection AI28,85%± 3,15-Valt afgeen score
58=GPT-6 SolOpenAI28,85%± 3,15$4,90Voldoet45
58=Mercury 3Inception Labs28,85%± 3,15$0,07Nog niet beoordeeldgeen score
61InklingThinking Machines28,36%± 3,13$0,49Valt afgeen score
62GLM 5.1Z.ai27,89%± 3,12$0,39Valt afgeen score
63GPT-6.1 TerraOpenAI25,96%± 3,05$3,22Voldoet44
64=Inkling SmallThinking Machines25,48%± 3,03$0,14Valt afgeen score
64=Qwen 3.7 MaxAlibaba25,48%± 3,03$1,40Nog niet beoordeeldgeen score
66Gemini 3.6 FlashGoogle25,00%± 3,01$0,47Voldoet46
67DeepSeek V4 Pro (2026-04-23)DeepSeek23,08%± 2,93$0,68Valt afgeen score
68Gemini 3.1 Pro Preview (02/26)Google20,67%± 2,81$1,10Valt afgeen score
69Gemini 3 Flash (12/25)Google18,27%± 2,69$0,14Valt afgeen score
70Qwen 3.7 PlusAlibaba16,35%± 2,57$0,30Nog niet beoordeeldgeen score
71=Kimi K2.5Moonshot AI15,87%± 2,54$0,23Voldoet37
71=Kimi K2.6Moonshot AI15,87%± 2,54$1,52Valt afgeen score
71=MiMo V2.5 ProXiaomi15,87%± 2,54$0,08Valt afgeen score
74=Grok 4.3xAI (SpaceXAI)15,38%± 2,51$0,20Valt afgeen score
74=Nemotron 3 UltraNVIDIA15,38%± 2,51-Valt afgeen score
76Qwen 3.6 PlusAlibaba14,90%± 2,48$0,70Nog niet beoordeeldgeen score
77=Gemini 3.5 Flash LiteGoogle13,94%± 2,41$0,12Voldoet38
77=Grok 4.20 (Reasoning)xAI (SpaceXAI)13,94%± 2,41$0,26Valt afgeen score
79GPT 5.4 MiniOpenAI12,50%± 2,30$1,86Voldoet25
80=Claude Haiku 4.5 (Thinking)Anthropic10,58%± 2,14$0,27Voldoet32
80=MiniMax-M2.7MiniMax10,58%± 2,14$0,22Valt afgeen score
82Nemotron 3.5 Super VLNVIDIA10,10%± 2,09$0,06Valt afgeen score
83=MiMo V2.5Xiaomi9,13%± 2,00$0,03Valt afgeen score
83=Mistral Medium 3.5Mistral AI9,13%± 2,00$1,31Voldoet23
85GPT 5.4 NanoOpenAI6,25%± 1,68$0,14Voldoet29
86Mercury 2.5Inception Labs4,33%± 1,41$0,06Nog niet beoordeeldgeen score
87Gemini 3.1 Flash Lite PreviewGoogle3,37%± 1,25$0,01Nog niet beoordeeldgeen score
88Nemotron 3.5 LightningNVIDIA2,88%± 1,16< $0,01Valt afgeen score
89Laguna M.1Poolside2,40%± 1,06$0,22Valt afgeen score
90Laguna XS.2Poolside0,96%± 0,68$0,11Valt afgeen score
91Ling 3.0 FlashAnt Group0,00%± 0,00$0,04Valt afgeen score

Bron: Vals AI (Legal Research Bench) · Licentie: CC BY 4.0 · Bewerking: Prudai selecteerde de modellen, vertaalde de uitleg, voegde de poortuitslag en de PrudentScore toe en rondde getallen af op twee decimalen.

Vals AI · Versie 1 · Peildatum 9 november 2026 · Naar de bron. De PrudentScore is een samenstelling door Prudai B.V. op basis van openbaar gepubliceerde cijfers en vertegenwoordigt niet de opvatting of goedkeuring van Vals AI, Harvey of Artificial Analysis. Cijfers van Artificial Analysis staan uitsluitend in lopende tekst, met bronvermelding en link, zoals de voorwaarden van die partij voorschrijven [9].

Andere benchmarks

Claude en Anthropic, GPT en OpenAI, Gemini en Google, Grok en xAI, Kimi en Moonshot AI, Muse en Meta, Mistral, DeepSeek, GLM en Z.ai, Harvey, Vals AI en Artificial Analysis zijn handelsmerken van hun respectieve eigenaren. Vermelding dient uitsluitend ter identificatie en impliceert geen samenwerking, sponsoring of goedkeuring.