Anthropic introduce prompt caching: risparmi token (e soldi) quando ripeti contesto

Il prompt caching di Anthropic risolve un problema che brucia soldi a tutti gli sviluppatori AI: se hai un chatbot che analizza un lungo documento (es. 50k token di manuale tecnico) e l'utente fa 10 domande, prima pagavi 50k token × 10 = 500k token totali.

Ora? Paghi 50k token la prima volta, poi solo i token incrementali (la domanda + la risposta). Il risparmio è enorme: Anthropic stima il 90% in meno sui costi per use case con contesto ripetuto.

Come funziona? Claude salva in cache i "system prompt" e i contesti lunghi per 5 minuti. Se rifai una chiamata con lo stesso contesto entro quel tempo, non ripaghi. Dopo 5 minuti, la cache scade e devi ripagarla (ma 5 minuti bastano per sessioni di chat).

Casi d'uso? RAG (Retrieval-Augmented Generation) su documenti, chatbot aziendali che usano manuali/policy, agenti che analizzano codebase. Tutto quello dove il contesto è lungo e ripetuto.

Il problema? Funziona solo su Claude (per ora). OpenAI non ha ancora una feature simile, quindi se usi GPT stai ancora pagando tutto. Ma è solo questione di tempo prima che tutti copino.