Zum Inhalt springen

KI-Kompass / Meldungen

Cloudflare AI Gateway: Auto Router wählt das KI-Modell je Anfrage selbst

Automatisierung Kosten

Ein Router im AI Gateway, seit 30. September in der Beta, schätzt jede Anfrage ein und wählt ein passendes Modell; das Routing ist so lange kostenlos.

Quelle: Cut your AI spend with AI Gateway's Auto Router (Cloudflare Blog),

Hinweis: Meine Domain und diese Website laufen über Cloudflare, und ich nutze Claude und Claude Code selbst für meine Arbeit. Weder Cloudflare noch Anthropic bezahlen mich, die Links sind keine Affiliate-Links.

Technische Zeichnung: eine Anfrage läuft in einen Verteiler mit der Markierung Beta, der sie an eines von drei Modellen S, M und L weiterleitet. Der Weg zu M ist hervorgehoben.

Anlass: Cloudflare hat am 30. September 2026 einen Auto Router für sein AI Gateway vorgestellt. Das AI Gateway ist eine Zwischenstation, über die du Anfragen an verschiedene KI-Anbieter schickst. Ein Klassifizierungsmodell, also ein Modell, das nur einschätzt und nicht selbst antwortet, schätzt anhand der jüngsten Nachrichten des Gesprächs, wie wahrscheinlich die Anfrage zu jeder von 14 Aufgabenkategorien gehört, und bewertet auf einer Skala von 1 bis 5 Komplexität, Mehrdeutigkeit, Tragweite und Abhängigkeit vom bisherigen Verlauf. Dann wählt der Router das Modell mit dem besten Verhältnis aus erwarteter Qualität und Kosten. Das Routing ist während der Beta kostenlos, die Modellaufrufe zahlst du weiter. Einen Preis für danach nennt Cloudflare nicht.

Was das bedeutet: Wer jede Anfrage an ein teures Spitzenmodell schickt, zahlt oft für Aufgaben, die ein kleineres Modell auch schafft. Laut ersten internen Ergebnissen von Cloudflare (Werkzeug OpenCode) spart der Router bis zu 30 % gegenüber reinen Spitzenmodellen. In einem internen Test mit 291 Durchläufen pro Modell (97 Aufgaben aus der Wissensarbeit wie E-Mail und Kalender, je dreimal) kostete cloudflare/auto 80 % von GPT-6 Sol und 35 % von Claude Opus 5.5. Gelöst hat er 86,6 % der Durchläufe, Opus 96,6 %, Sol 84,2 %; der Abstand zu Sol liegt innerhalb der Messunsicherheit. Das sind Herstellerangaben, nicht unabhängig geprüft, und ausprobiert habe ich den Router noch nicht.

Was du tun kannst:

  1. Erst messen: Für eine Stichprobe echter Anfragen festhalten, was sie heute kosten und wie gut die Antworten sind.
  2. Vergleichen: Dieselben Anfragen mit dem Modellnamen cloudflare/auto schicken. Welches Modell geantwortet hat, steht laut Dokumentation im Antwort-Header cf-aig-routed-model. Bei mehreren Gesprächsrunden cf-aig-session-id mitsenden, damit der Router nicht je Anfrage das Modell wechselt.
  3. Auswahl eingrenzen: Im Header cf-aig-allowed-models nur Modelle erlauben, die du vertraglich und beim Datenschutz geprüft hast.

Einordnung: Den Modellpool verwaltet Cloudflare, er kann sich laut Dokumentation ändern. Wo ein Fehler teuer wird, bleibt eine feste Modellwahl besser kontrollierbar.

KI im eigenen Team einführen? Dafür gibt es meine Workshops. Workshops ansehen