Benchmarks · Vals AI
Legal Research Bench
Let op: de vragen gaan over Amerikaans recht; er is geen Vals-benchmark voor Nederlands of Europees recht. Meet of een AI-agent met zoektools een juridische onderzoeksvraag volledig correct beantwoordt: 208 testvragen (privé testset, uit 413 door juridische experts geschreven en gereviewde vragen) over acht rechtsgebieden, beoordeeld door GPT-5.4 als rechter op een rubric; "all-pass" telt alleen als elk criterium wordt gehaald.
- Modellen gemeten
- 91
- Bovenaan
- 55,77 %Gemini 4 Carbonbinnen de standaardfout van ±3,45
- Versie
- 1
- Peildatum
- 9 november 2026
01
Ranglijst
Bovenaan: Top 15
Vals AI Legal Research Bench, all-pass [1]. Gestreepte balken vallen af op de compliancepoort.
- 1Gemini 4 Carbon55,77%
- 2=Claude Fable 5.155,29%
- 2=Claude Opus 555,29%
- 2=Muse Spark 1.3 (Max)55,29%
- 5Gemini 4 Argon54,81%
- 6Wonder Full53,37%
- 7=Claude Opus 5.550,48%
- 7=Wonder50,48%
- 9Claude Fable 549,52%
- 10=GLM 5.349,04%
- 10=Muse Ember49,04%
- 12=Claude Sonnet 5.548,08%
- 12=GPT-5.6 Sol48,08%
- 12=Grok 4.648,08%
- 15Qwen 3.8 Max47,60%
Bron: Vals AI (Legal Research Bench) · Licentie: CC BY 4.0 · Bewerking: Prudai selecteerde de modellen, vertaalde de uitleg, voegde de poortuitslag en de PrudentScore toe en rondde getallen af op twee decimalen.
Beweeg over een punt voor de cijfers. Modellen zonder gepubliceerde kosten per taak staan niet in deze grafiek.
Kosten per voltooide taak tegenover de score op juridisch onderzoek: Gemini 4 Argon: $6,45, 54,81%, Voldoet aan de compliancepoort, op de Pareto-frontier. Gemini 4 Carbon: $8,74, 55,77%, Voldoet aan de compliancepoort, op de Pareto-frontier. Claude Opus 5: $6,76, 55,29%, Voldoet aan de compliancepoort, op de Pareto-frontier. Claude Opus 5.5: $23,61, 50,48%, Voldoet aan de compliancepoort. Claude Opus 4.8: $2,82, 43,75%, Voldoet aan de compliancepoort. Gemini 3.8 Flash: $1,63, 38,94%, Voldoet aan de compliancepoort, op de Pareto-frontier. Claude Sonnet 5.5: $13,66, 48,08%, Voldoet aan de compliancepoort. Claude Haiku 5.5: $1,65, 43,75%, Voldoet aan de compliancepoort, op de Pareto-frontier. Claude Sonnet 5: $2,72, 41,83%, Voldoet aan de compliancepoort. GPT-6.1 Sol: $3,38, 38,46%, Voldoet aan de compliancepoort. Gemini 3.7 Flash: $0,76, 34,62%, Voldoet aan de compliancepoort, op de Pareto-frontier. GPT-5.6 Sol: $21,61, 48,08%, Voldoet aan de compliancepoort. GPT-5.6 Luna: $0,84, 36,54%, Voldoet aan de compliancepoort, op de Pareto-frontier. GPT-6 Astra: $10,58, 39,42%, Voldoet aan de compliancepoort. Claude Sonnet 4.6: $2,30, 38,46%, Voldoet aan de compliancepoort. Claude Opus 4.7: $3,06, 38,46%, Voldoet aan de compliancepoort. GPT-6 Luna: $0,44, 30,29%, Voldoet aan de compliancepoort, op de Pareto-frontier. GPT-5.6 Terra: $7,91, 41,35%, Voldoet aan de compliancepoort. GPT 5.5: $7,40, 40,38%, Voldoet aan de compliancepoort. Gemini 3.5 Flash: $1,31, 30,77%, Voldoet aan de compliancepoort. Gemini 3.6 Flash: $0,47, 25,00%, Voldoet aan de compliancepoort. GPT-6 Sol: $4,90, 28,85%, Voldoet aan de compliancepoort. GPT-6.1 Terra: $3,22, 25,96%, Voldoet aan de compliancepoort. Gemini 3.5 Flash Lite: $0,12, 13,94%, Voldoet aan de compliancepoort, op de Pareto-frontier. Kimi K2.5: $0,23, 15,87%, Voldoet aan de compliancepoort, op de Pareto-frontier. Claude Haiku 4.5 (Thinking): $0,27, 10,58%, Voldoet aan de compliancepoort. GPT 5.4 Nano: $0,14, 6,25%, Voldoet aan de compliancepoort. GPT 5.4 Mini: $1,86, 12,50%, Voldoet aan de compliancepoort. Mistral Medium 3.5: $1,31, 9,13%, Voldoet aan de compliancepoort. Claude Fable 5.1: $23,06, 55,29%, Valt af op de compliancepoort. Muse Spark 1.3 (Max): $0,59, 55,29%, Valt af op de compliancepoort. Wonder Full: $3,60, 53,37%, Valt af op de compliancepoort. Wonder: $3,98, 50,48%, Valt af op de compliancepoort. Claude Fable 5: $9,79, 49,52%, Valt af op de compliancepoort. GLM 5.3: $2,24, 49,04%, Valt af op de compliancepoort. Muse Ember: $0,06, 49,04%, Valt af op de compliancepoort. Grok 4.6: $1,53, 48,08%, Valt af op de compliancepoort. Qwen 3.8 Max: $2,49, 47,60%, Poort nog niet beoordeeld. Grok 4.7: $4,92, 47,12%, Valt af op de compliancepoort. MiMo V2.6 Pro: $0,18, 47,12%, Valt af op de compliancepoort. Inkling 2 Small: $0,29, 46,63%, Valt af op de compliancepoort. Claude Fable 5.2: $3,96, 46,15%, Valt af op de compliancepoort. Kimi K3: $3,47, 46,15%, Valt af op de compliancepoort. DeepSeek V4.1 Flash 1017: $0,70, 45,19%, Valt af op de compliancepoort. GLM 5.3 Flash: $0,24, 45,19%, Valt af op de compliancepoort. Hy4 Preview: $0,85, 45,19%, Valt af op de compliancepoort. Ember-1: $3,67, 44,71%, Poort nog niet beoordeeld. Muse Spark 1.2: $0,51, 43,75%, Valt af op de compliancepoort. GLM Legal: $0,05, 41,83%, Valt af op de compliancepoort. DeepSeek V4.1 Flash: $0,25, 41,35%, Valt af op de compliancepoort. Hy4: $2,22, 41,35%, Valt af op de compliancepoort. DeepSeek V4 Pro (0813): $1,09, 40,87%, Valt af op de compliancepoort. Muse Spark 1.3: $0,65, 40,87%, Valt af op de compliancepoort. Step 5 Preview: $0,84, 40,38%, Valt af op de compliancepoort. Muse Spark Open: $1,56, 38,46%, Valt af op de compliancepoort. Grok 4.5: $1,09, 37,98%, Valt af op de compliancepoort. MiMo V2.6 Flash: $0,07, 37,98%, Valt af op de compliancepoort. Muse Spark 1.1: $0,38, 37,98%, Valt af op de compliancepoort. Kimi K3.1 Pro: $7,23, 37,50%, Valt af op de compliancepoort. Qwen 3.8 27B: $2,16, 36,06%, Valt af op de compliancepoort. Mistral Large 4 (GA, 26.10): $1,09, 35,58%, Poort nog niet beoordeeld. MiniMax-M3.1-Flash: $0,44, 34,13%, Valt af op de compliancepoort. Mistral Large 4 (preview): $2,72, 31,73%, Valt af op de compliancepoort. GLM 5.2: $0,89, 31,25%, Valt af op de compliancepoort. DeepSeek V4 Flash 0731: $0,28, 30,29%, Valt af op de compliancepoort. MiniMax-M3: $0,34, 29,81%, Valt af op de compliancepoort. Mercury 3: $0,07, 28,85%, Poort nog niet beoordeeld. Inkling: $0,49, 28,36%, Valt af op de compliancepoort. GLM 5.1: $0,39, 27,89%, Valt af op de compliancepoort. Inkling Small: $0,14, 25,48%, Valt af op de compliancepoort. Qwen 3.7 Max: $1,40, 25,48%, Poort nog niet beoordeeld. DeepSeek V4 Pro (2026-04-23): $0,68, 23,08%, Valt af op de compliancepoort. Gemini 3.1 Pro Preview (02/26): $1,10, 20,67%, Valt af op de compliancepoort. Gemini 3 Flash (12/25): $0,14, 18,27%, Valt af op de compliancepoort. Qwen 3.7 Plus: $0,30, 16,35%, Poort nog niet beoordeeld. Kimi K2.6: $1,52, 15,87%, Valt af op de compliancepoort. MiMo V2.5 Pro: $0,08, 15,87%, Valt af op de compliancepoort. Grok 4.3: $0,20, 15,38%, Valt af op de compliancepoort. Qwen 3.6 Plus: $0,70, 14,90%, Poort nog niet beoordeeld. Grok 4.20 (Reasoning): $0,26, 13,94%, Valt af op de compliancepoort. MiniMax-M2.7: $0,22, 10,58%, Valt af op de compliancepoort. Nemotron 3.5 Super VL: $0,06, 10,10%, Valt af op de compliancepoort. MiMo V2.5: $0,03, 9,13%, Valt af op de compliancepoort. Mercury 2.5: $0,06, 4,33%, Poort nog niet beoordeeld. Gemini 3.1 Flash Lite Preview: $0,01, 3,37%, Poort nog niet beoordeeld. Nemotron 3.5 Lightning: < $0,01, 2,88%, Valt af op de compliancepoort. Laguna M.1: $0,22, 2,40%, Valt af op de compliancepoort. Laguna XS.2: $0,11, 0,96%, Valt af op de compliancepoort. Ling 3.0 Flash: $0,04, 0,00%, Valt af op de compliancepoort.
| # Model | Score | Kosten/taak | Poort | PrudentScore |
|---|---|---|---|---|
| 1Gemini 4 CarbonGoogle | 55,77%± 3,45 | $8,74 | Voldoet | 77 |
| 2=Claude Fable 5.1Anthropic | 55,29%± 3,46 | $23,06 | Valt af | geen score |
| 2=Claude Opus 5Anthropic | 55,29%± 3,46 | $6,76 | Voldoet | 72 |
| 2=Muse Spark 1.3 (Max)Meta | 55,29%± 3,46 | $0,59 | Valt af | geen score |
| 5Gemini 4 ArgonGoogle | 54,81%± 3,46 | $6,45 | Voldoet | 79 |
| 6Wonder FullMeta | 53,37%± 3,47 | $3,60 | Valt af | geen score |
| 7=Claude Opus 5.5Anthropic | 50,48%± 3,48 | $23,61 | Voldoet | 63 |
| 7=WonderMeta | 50,48%± 3,48 | $3,98 | Valt af | geen score |
| 9Claude Fable 5Anthropic | 49,52%± 3,48 | $9,79 | Valt af | geen score |
| 10=GLM 5.3Z.ai | 49,04%± 3,48 | $2,24 | Valt af | geen score |
| 10=Muse EmberMeta | 49,04%± 3,48 | $0,06 | Valt af | geen score |
| 12=Claude Sonnet 5.5Anthropic | 48,08%± 3,47 | $13,66 | Voldoet | 62 |
| 12=GPT-5.6 SolOpenAI | 48,08%± 3,47 | $21,61 | Voldoet | 57 |
| 12=Grok 4.6xAI (SpaceXAI) | 48,08%± 3,47 | $1,53 | Valt af | geen score |
| 15Qwen 3.8 MaxAlibaba | 47,60%± 3,47 | $2,49 | Nog niet beoordeeld | geen score |
| 16=Grok 4.7xAI (SpaceXAI) | 47,12%± 3,47 | $4,92 | Valt af | geen score |
| 16=MiMo V2.6 ProXiaomi | 47,12%± 3,47 | $0,18 | Valt af | geen score |
| 18Inkling 2 SmallThinking Machines | 46,63%± 3,47 | $0,29 | Valt af | geen score |
| 19=Claude Fable 5.2Anthropic | 46,15%± 3,46 | $3,96 | Valt af | geen score |
| 19=Kimi K3Moonshot AI | 46,15%± 3,46 | $3,47 | Valt af | geen score |
| 21=DeepSeek V4.1 Flash 1017DeepSeek | 45,19%± 3,46 | $0,70 | Valt af | geen score |
| 21=GLM 5.3 FlashZ.ai | 45,19%± 3,46 | $0,24 | Valt af | geen score |
| 21=Hy4 PreviewTencent | 45,19%± 3,46 | $0,85 | Valt af | geen score |
| 24Ember-1Fireworks AI | 44,71%± 3,46 | $3,67 | Nog niet beoordeeld | geen score |
| 25=Claude Haiku 5.5Anthropic | 43,75%± 3,45 | $1,65 | Voldoet | 59 |
| 25=Claude Opus 4.8Anthropic | 43,75%± 3,45 | $2,82 | Voldoet | 62 |
| 25=Muse Spark 1.2Meta | 43,75%± 3,45 | $0,51 | Valt af | geen score |
| 28=Claude Sonnet 5Anthropic | 41,83%± 3,43 | $2,72 | Voldoet | 59 |
| 28=GLM LegalZ.ai | 41,83%± 3,43 | $0,05 | Valt af | geen score |
| 30=DeepSeek V4.1 FlashDeepSeek | 41,35%± 3,42 | $0,25 | Valt af | geen score |
| 30=GPT-5.6 TerraOpenAI | 41,35%± 3,42 | $7,91 | Voldoet | 53 |
| 30=Hy4Tencent | 41,35%± 3,42 | $2,22 | Valt af | geen score |
| 33=DeepSeek V4 Pro (0813)DeepSeek | 40,87%± 3,42 | $1,09 | Valt af | geen score |
| 33=Muse Spark 1.3Meta | 40,87%± 3,42 | $0,65 | Valt af | geen score |
| 35=GPT 5.5OpenAI | 40,38%± 3,41 | $7,40 | Voldoet | 51 |
| 35=Step 5 PreviewStepFun | 40,38%± 3,41 | $0,84 | Valt af | geen score |
| 37GPT-6 AstraOpenAI | 39,42%± 3,40 | $10,58 | Voldoet | 56 |
| 38Gemini 3.8 FlashGoogle | 38,94%± 3,39 | $1,63 | Voldoet | 62 |
| 39=Claude Opus 4.7Anthropic | 38,46%± 3,38 | $3,06 | Voldoet | 54 |
| 39=Claude Sonnet 4.6Anthropic | 38,46%± 3,38 | $2,30 | Voldoet | 55 |
| 39=GPT-6.1 SolOpenAI | 38,46%± 3,38 | $3,38 | Voldoet | 59 |
| 39=Muse Spark OpenMeta | 38,46%± 3,38 | $1,56 | Valt af | geen score |
| 43=Grok 4.5xAI (SpaceXAI) | 37,98%± 3,37 | $1,09 | Valt af | geen score |
| 43=MiMo V2.6 FlashXiaomi | 37,98%± 3,37 | $0,07 | Valt af | geen score |
| 43=Muse Spark 1.1Meta | 37,98%± 3,37 | $0,38 | Valt af | geen score |
| 46Kimi K3.1 ProMoonshot AI | 37,50%± 3,37 | $7,23 | Valt af | geen score |
| 47GPT-5.6 LunaOpenAI | 36,54%± 3,35 | $0,84 | Voldoet | 56 |
| 48Qwen 3.8 27BAlibaba | 36,06%± 3,34 | $2,16 | Valt af | geen score |
| 49Mistral Large 4 (GA, 26.10)Mistral AI | 35,58%± 3,33 | $1,09 | Nog niet beoordeeld | geen score |
| 50Gemini 3.7 FlashGoogle | 34,62%± 3,31 | $0,76 | Voldoet | 58 |
| 51MiniMax-M3.1-FlashMiniMax | 34,13%± 3,30 | $0,44 | Valt af | geen score |
| 52Mistral Large 4 (preview)Mistral AI | 31,73%± 3,23 | $2,72 | Valt af | geen score |
| 53GLM 5.2Z.ai | 31,25%± 3,22 | $0,89 | Valt af | geen score |
| 54Gemini 3.5 FlashGoogle | 30,77%± 3,21 | $1,31 | Voldoet | 47 |
| 55=DeepSeek V4 Flash 0731DeepSeek | 30,29%± 3,19 | $0,28 | Valt af | geen score |
| 55=GPT-6 LunaOpenAI | 30,29%± 3,19 | $0,44 | Voldoet | 54 |
| 57MiniMax-M3MiniMax | 29,81%± 3,18 | $0,34 | Valt af | geen score |
| 58=Beam 1.0Reflection AI | 28,85%± 3,15 | - | Valt af | geen score |
| 58=GPT-6 SolOpenAI | 28,85%± 3,15 | $4,90 | Voldoet | 45 |
| 58=Mercury 3Inception Labs | 28,85%± 3,15 | $0,07 | Nog niet beoordeeld | geen score |
| 61InklingThinking Machines | 28,36%± 3,13 | $0,49 | Valt af | geen score |
| 62GLM 5.1Z.ai | 27,89%± 3,12 | $0,39 | Valt af | geen score |
| 63GPT-6.1 TerraOpenAI | 25,96%± 3,05 | $3,22 | Voldoet | 44 |
| 64=Inkling SmallThinking Machines | 25,48%± 3,03 | $0,14 | Valt af | geen score |
| 64=Qwen 3.7 MaxAlibaba | 25,48%± 3,03 | $1,40 | Nog niet beoordeeld | geen score |
| 66Gemini 3.6 FlashGoogle | 25,00%± 3,01 | $0,47 | Voldoet | 46 |
| 67DeepSeek V4 Pro (2026-04-23)DeepSeek | 23,08%± 2,93 | $0,68 | Valt af | geen score |
| 68Gemini 3.1 Pro Preview (02/26)Google | 20,67%± 2,81 | $1,10 | Valt af | geen score |
| 69Gemini 3 Flash (12/25)Google | 18,27%± 2,69 | $0,14 | Valt af | geen score |
| 70Qwen 3.7 PlusAlibaba | 16,35%± 2,57 | $0,30 | Nog niet beoordeeld | geen score |
| 71=Kimi K2.5Moonshot AI | 15,87%± 2,54 | $0,23 | Voldoet | 37 |
| 71=Kimi K2.6Moonshot AI | 15,87%± 2,54 | $1,52 | Valt af | geen score |
| 71=MiMo V2.5 ProXiaomi | 15,87%± 2,54 | $0,08 | Valt af | geen score |
| 74=Grok 4.3xAI (SpaceXAI) | 15,38%± 2,51 | $0,20 | Valt af | geen score |
| 74=Nemotron 3 UltraNVIDIA | 15,38%± 2,51 | - | Valt af | geen score |
| 76Qwen 3.6 PlusAlibaba | 14,90%± 2,48 | $0,70 | Nog niet beoordeeld | geen score |
| 77=Gemini 3.5 Flash LiteGoogle | 13,94%± 2,41 | $0,12 | Voldoet | 38 |
| 77=Grok 4.20 (Reasoning)xAI (SpaceXAI) | 13,94%± 2,41 | $0,26 | Valt af | geen score |
| 79GPT 5.4 MiniOpenAI | 12,50%± 2,30 | $1,86 | Voldoet | 25 |
| 80=Claude Haiku 4.5 (Thinking)Anthropic | 10,58%± 2,14 | $0,27 | Voldoet | 32 |
| 80=MiniMax-M2.7MiniMax | 10,58%± 2,14 | $0,22 | Valt af | geen score |
| 82Nemotron 3.5 Super VLNVIDIA | 10,10%± 2,09 | $0,06 | Valt af | geen score |
| 83=MiMo V2.5Xiaomi | 9,13%± 2,00 | $0,03 | Valt af | geen score |
| 83=Mistral Medium 3.5Mistral AI | 9,13%± 2,00 | $1,31 | Voldoet | 23 |
| 85GPT 5.4 NanoOpenAI | 6,25%± 1,68 | $0,14 | Voldoet | 29 |
| 86Mercury 2.5Inception Labs | 4,33%± 1,41 | $0,06 | Nog niet beoordeeld | geen score |
| 87Gemini 3.1 Flash Lite PreviewGoogle | 3,37%± 1,25 | $0,01 | Nog niet beoordeeld | geen score |
| 88Nemotron 3.5 LightningNVIDIA | 2,88%± 1,16 | < $0,01 | Valt af | geen score |
| 89Laguna M.1Poolside | 2,40%± 1,06 | $0,22 | Valt af | geen score |
| 90Laguna XS.2Poolside | 0,96%± 0,68 | $0,11 | Valt af | geen score |
| 91Ling 3.0 FlashAnt Group | 0,00%± 0,00 | $0,04 | Valt af | geen score |
Bron: Vals AI (Legal Research Bench) · Licentie: CC BY 4.0 · Bewerking: Prudai selecteerde de modellen, vertaalde de uitleg, voegde de poortuitslag en de PrudentScore toe en rondde getallen af op twee decimalen.
Vals AI · Versie 1 · Peildatum 9 november 2026 · Naar de bron. De PrudentScore is een samenstelling door Prudai B.V. op basis van openbaar gepubliceerde cijfers en vertegenwoordigt niet de opvatting of goedkeuring van Vals AI, Harvey of Artificial Analysis. Cijfers van Artificial Analysis staan uitsluitend in lopende tekst, met bronvermelding en link, zoals de voorwaarden van die partij voorschrijven [9].
Andere benchmarks
- Harvey LAB (Vals-uitvoering)
- LegalBench (Vals-leaderboard)
- CaseLaw v2
- TaxEval v2
- Tax Agent Bench
- CorpFin v2
- Immigration Bench
- Access to Justice
- Public Benefits Bench
- Vals Legal Index
- Vals Index
- GPQA Diamond (Vals-run)
- MMLU Pro (Vals-run)
- Artificial Analysis Intelligence Index
Claude en Anthropic, GPT en OpenAI, Gemini en Google, Grok en xAI, Kimi en Moonshot AI, Muse en Meta, Mistral, DeepSeek, GLM en Z.ai, Harvey, Vals AI en Artificial Analysis zijn handelsmerken van hun respectieve eigenaren. Vermelding dient uitsluitend ter identificatie en impliceert geen samenwerking, sponsoring of goedkeuring.