TOON - die Revolution für LLM Prompts!

Die Kosten und die Leistung von LLMs (Large Language Models) hängen direkt von der Anzahl der verarbeiteten Tokens ab. Jedes Zeichen, jede Klammer, jedes Anführungszeichen in deinem Prompt kostet dich Geld. Besonders wenn du strukturierte Daten an ein LLM übergibst, wird das traditionelle JSON schnell zu einem teuren und ineffizienten Ballast.

Hier kommt TOON (Token-Oriented Object Notation) ins Spiel. TOON ist ein kompaktes, menschenlesbares Serialisierungsformat, das speziell für die Übergabe strukturierter Daten an LLMs entwickelt wurde, um den Token-Verbrauch drastisch zu senken.

Das Token Dilemma: JSONs überflüssiger Code

JSON ist der Goldstandard für den Datenaustausch, aber seine Syntax ist für LLMs unnötig “geschwätzig”. Jede geschweifte Klammer, jede eckige Klammer, jedes Komma und jedes Anführungszeichen wird vom LLM-Tokenizer in Tokens umgewandelt. Diese Formatierungs-Tokens fügen keinen semantischen Wert hinzu, kosten aber bares Geld und reduzieren die Menge an echten Daten, die du im Kontextfenster unterbringen kannst.

Mit TOON werden Daten auf den Punkt gebracht!

TOON löst dieses Problem, indem es redundante Satzzeichen eliminiert und eine tabellarische Struktur für gleichförmige Daten nutzt. Es kombiniert die Lesbarkeit von YAML mit der Kompaktheit von CSV und fügt explizite Struktur-Guardrails hinzu, die LLMs lieben.

TOON wurde mit Blick auf die LLM-Token-Ökonomie entwickelt und bietet einige Vorteile:

• Token-Effizienz: Bis zu 30–60 % weniger Tokens bei großen, gleichförmigen Arrays im Vergleich zu formatiertem JSON.
• LLM-freundliche Guardrails: Explizite Längenangaben und Felddeklarationen ermöglichen eine bessere Validierung durch das Modell.
• Minimalistische Syntax: Unnötige Satzzeichen werden entfernt.
• Tabellarische Arrays: Schlüssel werden einmal deklariert und Daten werden als einfache Zeilen gestreamt.
• Induktive Struktur: Wie bei YAML wird die Struktur durch Einrückungen statt durch Klammern definiert.

JSON vs TOON:

JSON:

{
"users": [
{ "id": 1, "name": "Ramona", "role": "design" },
{ "id": 2, "name": "Martin", "role": "video" }
]
}

TOON:

users[2]{id,name,role}:
1,Ramona,design
2,Martin,video

Der Token Verbrauch im direkten Vergleich:

Benchmarks zeigen, dass TOON im Vergleich zu formatiertem JSON eine Token-Reduktion von 30 - 60% bei großen, gleichförmigen Arrays erreicht.

TOON           ████████████████████   26.9  │  73.9% acc  │  2,744 tokens
JSON compact   █████████████████░░░   22.9  │  70.7% acc  │  3,081 tokens
YAML           ██████████████░░░░░░   18.6  │  69.0% acc  │  3,719 tokens
JSON           ███████████░░░░░░░░░   15.3  │  69.7% acc  │  4,545 tokens
XML            ██████████░░░░░░░░░░   13.0  │  67.1% acc  │  5,167 tokens

Quelle: GitHub

TOON spart nicht nur Tokens, sondern verbessert auch die LLM-Genauigkeit bei der Datenextraktion. Die explizite, aber minimalistische Struktur hilft dem Modell, die Daten zuverlässiger zu parsen.

TOONs Performance im Detail: Die Genauigkeit pro Modell

Die Vorteile von TOON zeigen sich besonders deutlich, wenn man die Genauigkeit der Datenextraktion pro Modell betrachtet. Die Benchmarks zeigen, dass TOON in den meisten Fällen die höchste oder eine der höchsten Genauigkeitsraten erzielt, was die Theorie bestätigt, dass die optimierte Struktur LLMs das Parsen erleichtert.

claude-haiku-4-5-20251001
→ TOON           ████████████░░░░░░░░    59.8% (125/209)
 JSON           ███████████░░░░░░░░░    57.4% (120/209)
 YAML           ███████████░░░░░░░░░    56.0% (117/209)
 XML            ███████████░░░░░░░░░    55.5% (116/209)
 JSON compact   ███████████░░░░░░░░░    55.0% (115/209)
 CSV            ██████████░░░░░░░░░░    50.5% (55/109)

gemini-2.5-flash
→ TOON           ██████████████████░░    87.6% (183/209)
 CSV            █████████████████░░░    86.2% (94/109)
 JSON compact   ████████████████░░░░    82.3% (172/209)
 YAML           ████████████████░░░░    79.4% (166/209)
 XML            ████████████████░░░░    79.4% (166/209)
 JSON           ███████████████░░░░░    77.0% (161/209)

gpt-5-nano
→ TOON           ██████████████████░░    90.9% (190/209)
 JSON compact   ██████████████████░░    90.9% (190/209)
 JSON           ██████████████████░░    89.0% (186/209)
 CSV            ██████████████████░░    89.0% (97/109)
 YAML           █████████████████░░░    87.1% (182/209)
 XML            ████████████████░░░░    80.9% (169/209)

grok-4-fast-non-reasoning
→ TOON           ███████████░░░░░░░░░    57.4% (120/209)
 JSON           ███████████░░░░░░░░░    55.5% (116/209)
 JSON compact   ███████████░░░░░░░░░    54.5% (114/209)
 YAML           ███████████░░░░░░░░░    53.6% (112/209)
 XML            ███████████░░░░░░░░░    52.6% (110/209)
 CSV            ██████████░░░░░░░░░░    52.3% (57/109)

Quelle: GitHub

In drei von vier getesteten Modellen liefert TOON die besten Ergebnisse. Beim gpt-5-nano liegt TOON gleichauf mit dem kompakten JSON-Format. Dies zeigt, dass TOON nicht nur eine Kostenersparnis durch Token-Reduktion bietet, sondern auch ein Zuverlässigkeits-Upgrade für deine LLM-Workflows darstellt.

Der Klima-Impact von TOON:

LLMs verbrauchen Energie, um Tokens zu verarbeiten. Jedes Token, das in den Prompt geschickt wird, muss das Modell lesen und verarbeiten.

• TOON reduziert die Anzahl der Tokens im Prompt um 30-60% im Vergleich zu JSON.
• Weniger Tokens bedeuten, dass die Grafikprozessoren (GPUs) in den Rechenzentren weniger Arbeit leisten müssen, um die gleiche Menge an informationeller Daten zu verarbeiten.

Ein aktuelles Forschungspapier bestätigt, dass die Inferenz (also die Nutzung) von LLMs mittlerweile für mehr als die Hälfte der gesamten CO2-Emissionen im Lebenszyklus dieser Modelle verantwortlich ist. Selbst wenn eine einzelne Abfrage nur wenig Energie verbraucht (etwa 0,3–1 Wh), summieren sich Millionen von Anfragen schnell zu einem erheblichen CO2-Fußabdruck.

Wenn durch TOON 30% weniger Tokens an das LLM gesendet werden, wird im Idealfall auch ein entsprechender Anteil an Rechenzeit und damit an Energie gespart.

• Energie-Einsparung: Die Reduktion der verarbeiteten Tokens führt direkt zu einer Verringerung der GPU-Auslastung und damit des Stromverbrauchs.
• CO2-Einsparung: Weniger Stromverbrauch bedeutet weniger CO2-Emissionen, besonders wenn das Rechenzentrum nicht mit 100 % erneuerbaren Energien betrieben wird.

TOON bietet also einen direkten Hebel, um den operativen CO2-Fußabdruck von KI-Anwendungen zu senken.

Die Optimierung von Datenformaten wie TOON ist Teil einer breiteren Bewegung hin zu energieeffizienterer KI. Es geht darum, die Ineffizienzen zu beseitigen, die in der Kommunikation mit LLMs stecken.

• Skaleneffekt: Die Einsparungen sind bei einzelnen Prompts minimal, aber bei Anwendungen, die täglich Millionen von strukturierten Datenpunkten verarbeiten (z.B. in der Log-Analyse, im E-Commerce oder bei der Datenextraktion), potenzieren sich die Einsparungen massiv.
• Bewusstsein: Die Nutzung von TOON setzt ein Zeichen. Es zeigt, dass du bei der Entwicklung deiner KI-Workflows aktiv auf Effizienz und damit auf Nachhaltigkeit achtest.

Aber wann sollte TOON genutzt werden?

TOON ist kein universeller JSON-Ersatz. Es ist ein spezialisiertes Werkzeug für die KI-Kommunikation.

Es ist besonders stark bei:

• Uniformen Arrays von Objekten: Listen von Benutzern, Produkten, etc.
• Schema-Awareness: Die klare Deklaration der Felder hilft dem LLM, das Schema sofort zu verstehen.
• Kostenoptimierung: Wenn du große Datenmengen in den Prompt packen musst und die Kosten pro Token senken willst.

Wann man lieber bei JSON bleiben sollte:

• Tief verschachtelte oder ungleichmäßige Strukturen
• Wenn die Datenstruktur nur teilweise tabellarisch ist
• Für flache Tabellen ohne jegliche Verschachtelung ist CSV das kleinste Format
• Latenzkritische Anwendungen