KI-Kompass / Wissenskarten

Bringt ein Skill noch etwas?

Skills messen

Geprüft 17. Oktober 2026 · Michael Engel · Prompting · Kosten

Ein Skill wird bei Bedarf geladen und belegt dann Kontext. Dass er geladen wird, heißt noch nicht, dass er hilft. Die Claude-Code-Doku empfiehlt deshalb einen Vergleich mit Grundlinie: dieselben Aufgaben in frischen Sitzungen einmal mit und einmal ohne Skill. Das offizielle Plugin skill-creator von Anthropic und das freie Werkzeug Caliper machen das automatisch.

Wozu

Du behältst nur Skills, die nachweislich besser oder billiger arbeiten. Nach einem Modellwechsel siehst du, welche überflüssig geworden sind.

Schritte

1. Drei bis fünf echte Aufgaben sammeln, für die der Skill gedacht ist. Je Aufgabe festhalten, woran ein gutes Ergebnis zu erkennen ist.
2. Jede Aufgabe in einer frischen Sitzung mit Skill und noch einmal ohne laufen lassen. Einen eigenen Skill schaltest du laut Doku mit skillOverrides auf "off". Frisch muss die Sitzung sein, weil Reste aus dem Schreiben des Skills Lücken in seiner Anleitung verdecken.
3. Automatisch mit skill-creator: /plugin install skill-creator@claude-plugins-official, dann zum Beispiel evaluate my <Name> skill with skill-creator. Laut Doku legt das Plugin Testfälle an, startet je Fall einen eigenen Subagenten und vergleicht Trefferquote, Zeit und Token mit und ohne Skill.
4. Oder mit Caliper (MIT-Lizenz, Drittanbieter, vorher lesen). Laut README installierst du es mit npx skills@latest add edonadei/caliper oder pipx install caliper-eval. Im Agenten befragt dich /grill-skill zum Zweck des Skills, schreibt eine Testbeschreibung und lässt sie mit und ohne Skill laufen. Im Video heißen die Skills noch „grill“ und „evaluate“.
5. Mehrere Läufe je Aufgabe einplanen. Ein Modell antwortet nicht jedes Mal gleich, ein einzelner Lauf sagt wenig. Caliper legt die Ergebnisse unter .caliper/results/ ab.
6. Den Bericht lesen: Welche Aufgaben löst der Skill zuverlässig? Lohnt der Gewinn die zusätzlichen Token? Was nicht hilft, schaltest du ab.
7. Lehren festhalten, bei AI LABS in einer learning.md im Skill-Ordner. Den Vergleich nach jedem Modellwechsel wiederholen.

Grenzen

• Ein Test misst nur die Aufgaben, die du hineinschreibst. Ob ein Skill sicher ist, prüft er nicht.
• Meist urteilt ein Sprachmodell darüber, ob ein Ergebnis gut ist. Auch dieses Urteil kann irren. Caliper kennt laut README zusätzlich Prüfungen in Python, die lokal laufen.
• Die Caliper-README zeigt ein Beispiel, in dem ein Skill die Trefferquote von 80 auf 100 % hebt und 30 % Token spart. Das ist das Beispiel des Entwicklers, kein unabhängiger Test. Das Video nennt zu Caliper keine Zahlen.
• Für Skills aus einem Plugin greift skillOverrides laut Doku nicht. Dafür gibt es claude plugin eval.
• Im selben Video stellt AI LABS weitere Werkzeuge mit Hooks vor (Reticle, Chisel). Hooks laufen automatisch mit, deshalb vorher den Quelltext lesen.
• „10x“ im Videotitel ist eine Übertreibung.

Verknüpfungen

• Fremde Skills prüfen: Diese Karte fragt nach dem Nutzen, jene nach der Sicherheit. Beides gehört vor die Installation.
• Claude-Code-Setup pflegen: /skill-doctor zeigt, was ein Skill kostet und wie oft er läuft. Der Vergleich hier zeigt, ob er hilft.
• Bauen und Prüfen trennen: Auch beim Messen urteilt am besten jemand mit frischem Kontext.

Quellen

• AI LABS: Insane GitHub Repos That 10x Your Codex And Claude Code Setup, 14.09.2026, 10:19–11:23. Gesponsert von Manufact, dazu Bezahl-Community
• AI LABS: All The Types Of Claude Loops Explained In 13 Minutes, 09.07.2026, 6:00–7:00. Gesponsert von MiniMax (ca. 3:46–4:50, mit Affiliate-Link), dazu Bezahl-Community
• Emrick Donadei: Caliper, README, abgerufen 17.10.2026
• Claude-Code-Doku: Skills (Abschnitt „Evaluate and iterate on a skill“, skill-creator), abgerufen 17.10.2026

Stand

Geprüft 17.10.2026 · Reifegrad neu (Methode in der Doku beschrieben, Werkzeuge verfügbar, von mir nicht getestet)

Das mit deinem Team ausprobieren? Dafür gibt es die KI-Werkstatt. KI-Werkstatt ansehen