Arkitektur som faktisk leveres
- Bruk én primærmodell og én budsjettmodell.
- Hold promptene i versjonerte filer.
- Legg inn retry + timeout + fallback ved API-grenser.
- Cache deterministiske eller lite varierende prompts aggressivt.
Spillebok for små systemer
For gründere, indie-utviklere og team med under 20 ingeniører.
Hvor små team feiler
- Overdesign av model-ruting før product-market fit.
- Ignorere eval-datasett og stole på demo-prompts.
- Ingen kostnadsgrenser for tokens, deretter uventede skyregninger.
- Lansering uten god UX for avslag og feil i produktet.
Beste tidlige anbefaling
Start with a premium model for customer-facing outputs and only optimize cost after usage patterns stabilize for 2-4 weeks.