Rate limits zijn een cloud-probleem, niet het jouwe
Open de rate-limit-tabel van willekeurig welke cloud-AI-provider en je vindt steeds hetzelfde. Een meter op alles. Requests per minuut, requests per dag, tokens per minuut, tokens per dag, en voor speech-to-text zelfs audio-seconden per uur.
Het oogt als een prijsdetail. Het is de vorm van de hele afspraak. Je huurt toegang tot een machine die je niet beheert, en de huur wordt in vijf eenheden tegelijk afgemeten. Loop je tegen een plafond aan, dan stopt je werk, en je kan er weinig aan doen behalve wachten of meer betalen.
De meter is de belasting
Een gratis of developer-tier is ruim genoeg voor een demo en krap genoeg dat echt gebruik er tegenaan loopt. Dat is precies de bedoeling. De plafonds beschermen geen server, ze duwen je naar een hoger plan. Niets daarvan is oneerlijk, zo ziet huren er nou eenmaal uit.
Wat vaak over het hoofd wordt gezien, is hoeveel van je werk de cloud nooit nodig had. Een spraaknotitie omzetten naar tekst. Een bestand samenvatten. Een functie herschrijven. Een alinea vertalen. Een klein lokaal model doet dat prima, en een cloud-provider had elk daarvan afgemeten.
Local-first verandert waar de meter op slaat
Soriku draait eerst op je eigen hardware. Een taak die een lokaal model afkan raakt nooit een provider, dus er is geen requests-per-dag plafond en geen tokens-per-minuut rem. De limiet is je machine, en je machine stuurt je geen rekening.
Speech-to-text is het duidelijkste voorbeeld. Het draait lokaal op Whisper, dus de audio-seconden-per-uur die een cloud-provider op transcriptie zet bestaat hier simpelweg niet. Lees hoe local-first werkt voor het langere verhaal.
Wat het je oplevert
Je hoeft je dag niet meer in te delen rond het plafond van iemand anders. Het zware, alledaagse volume draait lokaal en gratis, de cloud is er voor de paar dingen die het nodig hebben, en jij bepaalt wat wat is. Dat is het hele idee achter smart routing.
Rate limits zijn echt. Ze zijn alleen niet meer jouw last om te dragen, zodra het meeste werk draait op een machine die je toch al hebt.