Zum Inhalt springen

KI-Kompass / Kurzfassungen

Ein Skill muss sich gegen „ohne“ beweisen

Prompting Kosten

Dass ein Skill geladen wird, heißt nicht, dass er hilft. Ein Vergleich mit und ohne zeigt es in einer Stunde.

Ausführlich: Bringt ein Skill noch etwas? – Skills messen

Ein Skill, der einem älteren Modell geholfen hat, kostet einem neuen vielleicht nur noch Token. AI LABS stellt dafür Caliper vor: Es schreibt Tests aus Prompt und erwartetem Ergebnis, lässt sie mehrfach mit und ohne Skill laufen und zeigt, ob sich der Aufwand lohnt (14.09.). Inzwischen beschreibt die Claude-Code-Doku dieselbe Methode als Standard: dieselben Aufgaben in frischen Sitzungen mit und ohne Skill. Das offizielle Plugin skill-creator vergleicht dabei Trefferquote, Zeit und Token (Doku geprüft). Von Hand geht es auch: zwei getrennte Sitzungen und eine learning.md im Skill-Ordner (09.07.).

Werkzeug und Alternative

skill-creator ist kostenlos und von Anthropic: /plugin install skill-creator@claude-plugins-official. Caliper ist frei (MIT, extern geprüft), installiert laut README mit npx skills@latest add edonadei/caliper. Die Skills heißen dort heute /grill-skill und /evaluate-skill, im Video noch „grill“ und „evaluate“. Das Beispiel in der README (80 auf 100 %, 30 % weniger Token) ist eine Angabe des Entwicklers.

Quellen

Werbung in der Quelle: Manufact (14.09.), MiniMax mit Affiliate-Link (09.07., ca. 3:46–4:50), jeweils dazu Bezahl-Community. „10x“ im Titel ist Übertreibung.

Das mit deinem Team ausprobieren? Dafür gibt es die KI-Werkstatt. KI-Werkstatt ansehen