Prompt caching: hoe ZIA en de andere Prudai-producten het gebruiken
Prompt caching betekent dat een taalmodel het vaste begin van een prompt bewaart en bij de volgende vraag hergebruikt. ZIA, het zorgproduct van Prudai, draait op hetzelfde platform als LEO en VERA. Dat platform bouwt elke prompt zo op dat het vaste deel vooraan staat en alles wat per vraag verandert achteraan. Dat scheelt rekenwerk, en volgens Anthropic meestal ook wachttijd tot het eerste woord van het antwoord (TTFT).
In het kort
- Een taalmodel onthoudt niets tussen twee vragen. Bij elke vraag krijgt het de hele prompt opnieuw: instructies, tools, eerdere berichten en de nieuwe vraag.
- Prompt caching laat de modelaanbieder het verwerkte begin van die prompt hergebruiken. Dat werkt alleen als dat begin precies gelijk is aan de vorige keer.
- Daarom zet het Prudai-platform het vaste deel vooraan en wat per vraag verandert, zoals de datum en tijd, achteraan.
- Bij Claude-modellen plaatst het platform zelf de cachemarkeringen. Gemini-modellen cachen automatisch.
- Dezelfde opbouw geldt voor ZIA, LEO, VERA en de andere producten. Alleen de instructies en tools verschillen per product.
Wat is prompt caching?
Prompt caching is het hergebruiken van het al verwerkte begin van een prompt. Een prompt is alles wat een taalmodel bij één verzoek te lezen krijgt. Hoe een taalmodel tekst in tokens opknipt en verwerkt, leest u in Wat is generatieve AI?.
Een taalmodel heeft geen geheugen tussen twee verzoeken. Stelt u in een gesprek uw vijfde vraag, dan krijgt het model ook de vier eerdere vragen en antwoorden opnieuw mee, plus alle instructies. Hoe langer het gesprek, hoe langer de prompt.
Bij prompt caching bewaart de aanbieder het verwerkte begin van zo'n prompt korte tijd. Begint het volgende verzoek met precies hetzelfde stuk, dan hoeft dat stuk niet opnieuw te worden verwerkt. Alleen het nieuwe deel moet nog worden verwerkt.
Waarom komt het eerste antwoord sneller met prompt caching (TTFT)?
TTFT staat voor time to first token: de tijd tussen het versturen van uw vraag en het eerste woord van het antwoord. Voordat dat eerste woord komt, moet het model de hele prompt hebben verwerkt. Een lange prompt betekent dus een langere wachttijd.
Komt een groot deel van de prompt uit de cache, dan valt dat werk weg. Anthropic schrijft in zijn documentatie dat u bij lange documenten doorgaans een kortere TTFT ziet. Ook de kosten dalen: tokens die uit de cache komen, kosten bij Anthropic een tiende van de normale invoerprijs.
Hoeveel sneller het precies wordt, hangt af van het model, de lengte van het gesprek en de vraag zelf. Daarom noemen we hier geen eigen snelheidscijfer.
Waarom telt de volgorde van de prompt?
Een cache werkt alleen als het begin van de prompt byte voor byte gelijk is. Verandert er vooraan één teken, bijvoorbeeld de huidige tijd, dan telt alles daarna als nieuw. De regel is dus eenvoudig: wat vast is vooraan, wat wisselt achteraan.
Zo bouwt het Prudai-platform een prompt op:
| Deel van de prompt | Wat erin staat | Wisselt het? | Uit de cache? |
|---|---|---|---|
| 1. Tools | Wat het product kan opzoeken of doen. Bij ZIA bijvoorbeeld zoeken in NZa-informatie. | Nee, vastgezet bij de eerste vraag van het gesprek | Ja |
| 2. Instructies | Taalbeleid en de productinstructie, bij ZIA gericht op de zorg | Nee | Ja |
| 3. Vaste context | Organisatie, voorkeuren, projectafbakening en de lijst met kennisbanken | Nee, niet binnen een gesprek | Ja |
| 4. Eerdere berichten | De vragen en antwoorden tot nu toe | Groeit, maar het oude deel blijft gelijk | Ja |
| 5. De nieuwe vraag | Uw vraag, met wat per beurt verandert: datum en tijd, notities en taken van het gesprek, een open document, bestanden die u noemt | Ja, elke keer | Nee |
Schema in vijf stappen van hoe het Prudai-platform een prompt opbouwt: eerst de tools, dan de instructies, dan de vaste context, dan de eerdere berichten, en als laatste de nieuwe vraag met wat per beurt wisselt. Alles vóór de nieuwe vraag kan uit de cache komen.
Zo werkt het bij Prudai
ZIA ondersteunt professionals in de zorg en het sociaal domein. Een medewerker stelt vaak meerdere vragen achter elkaar over hetzelfde onderwerp. Het eerste deel van de prompt is dan bij elke vraag gelijk: de tools, de ZIA-instructies en de vaste context van de organisatie. Precies dat deel kan uit de cache komen.
Eén opbouw voor alle producten. ZIA, LEO, VERA, BEVER, IRMA en MAIA gebruiken dezelfde code om een prompt samen te stellen. De producten verschillen in instructies, tools en bronnen, maar niet in de volgorde. Een verbetering in die opbouw werkt dus meteen voor elk product.
De tools liggen vast per gesprek. Bij de eerste vraag legt het platform vast welke tools het gesprek krijgt. Daarna staat bij elke vraag exact dezelfde, compacte beschrijving van die tools in de prompt. Heeft het model de volledige beschrijving van een tool nodig, dan haalt het die op. Die komt achteraan in de prompt, zodat het vaste begin gelijk blijft.
Wat per beurt verandert, gaat mee met de nieuwe vraag. De datum en tijd, de notities van het gesprek en een open document horen bij één beurt. Die staan daarom niet vooraan, maar in het laatste bericht.
Ook bij opzoekwerk in stappen. Zoekt ZIA iets in meerdere stappen op, dan bouwt elke stap voort op de vorige. Het platform markeert het laatste zoekresultaat, zodat de volgende stap het voorgaande deel uit de cache kan lezen.
We meten of het werkt. Bij elke aanroep van een model legt het platform vast hoeveel tokens uit de cache kwamen en hoeveel er nieuw in de cache zijn gezet. Daarnaast bewaart het een vingerafdruk van het vaste begin. Zo zien we het meteen als een wijziging dat begin ongemerkt verstoort. Geautomatiseerde tests bewaken de volgorde van de prompt.
Dit sluit aan bij hoe we informatie in het algemeen inrichten: één feit op één vaste plek. Meer daarover leest u in Eén feit, één plek: informatie-architectuur voor AI-agents.
Wat merkt een zorgmedewerker van prompt caching?
Een medewerker hoeft niets in te stellen. Prompt caching verandert ook niet wat het model leest: het krijgt dezelfde prompt, alleen hoeft een deel daarvan niet opnieuw te worden verwerkt. Het antwoord is dus niet anders door de cache.
Het platform is ingericht op hergebruik binnen één gesprek. Wie doorvraagt in hetzelfde gesprek, profiteert daar het meest van. Hoe ZIA met informatiebeveiliging in de zorg omgaat, leest u in NEN 7510 in de praktijk.
Voor de specialist
Claude via Google Cloud Vertex AI. Vertex AI cachet Claude niet automatisch: de aanroeper zet zelf cache_control: {"type": "ephemeral"} op een blok. Anthropic bouwt het cachebare deel op in de volgorde tools, system, messages, tot en met het gemarkeerde blok. Er mogen hoogstens vier markeringen in één verzoek staan.
Het platform gebruikt er drie, op vaste plekken:
- Op het eerste gebruikersbericht. Dat dekt de tools, de instructies en de vaste context.
- Op het voorlaatste gebruikersbericht. Dat dekt de eerdere berichten.
- Op het laatste toolresultaat, tijdens opzoekwerk in stappen.
Het laatste gebruikersbericht krijgt geen markering. Dat wordt bij de volgende beurt anders opgebouwd, dus een cache-item daarvan zou nooit meer worden gelezen. Een markering die per beurt verschuift, kost bij elke verschuiving een nieuwe schrijfactie. Daarom staan de markeringen op vaste plekken en blijft de vierde bewust vrij.
Prijzen en levensduur volgens Anthropic (documentatie geraadpleegd op 6 oktober 2026): schrijven in de cache kost 1,25 keer de normale invoerprijs, lezen uit de cache 0,1 keer. Een cache-item leeft standaard vijf minuten en wordt bij elk gebruik zonder extra kosten verlengd. Er is ook een optie van een uur, tegen een hogere schrijfprijs. Het platform gebruikt de standaard. Anthropic zoekt per markering hoogstens twintig blokken terug naar een eerder cache-item.
Gemini via Vertex AI. Gemini-modellen gebruiken impliciete caching: die staat standaard aan en heeft geen markeringen nodig. Google adviseert om grote, steeds terugkerende inhoud aan het begin van de prompt te zetten. Dat doet de vaste volgorde al. Ook hier meldt de aanbieder per verzoek hoeveel tokens uit de cache kwamen.
Veelgestelde vragen
Verandert prompt caching het antwoord van ZIA?
Nee. Het model krijgt precies dezelfde prompt als zonder cache. Alleen hoeft het al verwerkte begin niet opnieuw te worden berekend.
Moet ik als gebruiker iets instellen?
Nee. Het platform regelt de opbouw van de prompt en de cachemarkeringen zelf. U merkt er alleen iets van in de wachttijd en niet in de werking.
Geldt dit alleen voor ZIA?
Nee. ZIA, LEO, LEO Fiscaal, VERA, BEVER, IRMA en MAIA gebruiken dezelfde opbouw van de prompt. Ze verschillen in instructies, tools en bronnen.
Waarom niet gewoon de hele prompt cachen?
Omdat het laatste deel bij elke vraag anders is. Een cache-item van iets wat nooit meer precies zo terugkomt, kost wel schrijfwerk maar levert niets op. Daarom staat wat wisselt achteraan en buiten de cache.
Bronnen
- Anthropic, Prompt caching (documentatie, geraadpleegd 6 oktober 2026)
- Google Cloud, Prompt caching voor Claude op Vertex AI (documentatie, geraadpleegd 6 oktober 2026)
- Google Cloud, Context caching op Vertex AI (documentatie, geraadpleegd 6 oktober 2026)
- Google, Context caching in de Gemini API (documentatie, geraadpleegd 6 oktober 2026)
Wilt u weten hoe ZIA professionals in de zorg en het sociaal domein ondersteunt? Bekijk ZIA of lees over de koppeling met Nedap ONS.
Bijgewerkt op 6 oktober 2026