Claude Code release notes: 2.1.269 testar plugins

Claude Code 2.1.269 lägger till claude plugin eval, som testar ett plugin mot återkommande testfall och jämför resultaten med körningar utan plugin. Funktionen släpptes den 11 september och ger poängsatta resultat med rapporter i JSON och HTML.

Ett plugin är ett tillägg som paketerar funktioner för Claude Code. Här testar du hur tillägget påverkar Claudes arbete, inte bara om dess filer har rätt syntax.

Källor: Claude Code 2.1.269 release notes. Anthropics guide till plugin-tester.

Så fungerar testerna i Claude Code

Varje testfall innehåller en prompt och bedömningsregler som ger godkänt eller underkänt. Reglerna kan exempelvis kontrollera svarets text, om Claude anropade ett visst verktyg eller om svaret uppfyller kriterier som en annan modell bedömer.

Som standard körs varje fall tre gånger med tillägget och tre gånger utan. Rapporten visar poängen med och utan plugin samt skillnaden mellan dem. Ett högt resultat i båda grupperna visar inte att tillägget förbättrade just den uppgiften.

Källa: Anthropics beskrivning av testkörningar och jämförelse utan plugin.

Skapa och kör en testsvit

Mänskligt steg: Använd Claude Code 2.1.269 eller senare och öppna en terminal i rotmappen för ett fungerande plugin. Kör:

claude plugin eval init

Claude läser tillägget, frågar vad ett bra resultat ska innehålla, föreslår testfall och bedömningsregler, provkör dem och skriver filerna under evals/. Avsluta sedan den interaktiva sessionen med /exit eller Ctrl+D.

Tillbaka i terminalen kör du:

claude plugin eval . --no-publish

Flaggan behåller rapporten lokalt i stället för att publicera den. Öppna HTML-filen som sökvägen efter Report: pekar på och granska vilka bedömningsregler som misslyckades.

Källa: Anthropics steg för att skapa och köra testsviten.

Kostnad och aktuell version

Testkörningar, modellbaserade bedömningar och den interaktiva starten använder ditt kontos modellåtkomst och räknas mot abonnemangets gränser eller API-fakturan. Verktyg utöver den förvalda uppsättningen för läsning kräver uttryckligt tillstånd.

Version 2.1.270 var senaste version i npm vid kontrollen den 14 september. Den rättar en regression från 2.1.269 där Git-kommandon som bara läser data oväntat kunde begära tillstånd efter en längre session.

Källor: Anthropics krav och verktygsbehörigheter. Claude Code 2.1.270 release notes. Claude Code i npm-registret.