Stap 1: Bepaal het doel voor Agile Metrics
De allereerste vraag is: ‘Waarvoor meet je?’. “We willen meten hoe Agile wij werken, zodat we hier op kunnen sturen en toetsen”, horen wij vaak ik de praktijk. In mijn gedachte rijzen gelijk enkele vragen op: “Waarom wil je dat meten? Hoe wil je dat dan meten? Met welke karakteristieken van Agile wil je dat meten? En meet je dan ook écht datgene waar je een antwoord op wilt hebben?”. Het doel bepalen van het gebruik van de metrics is een lastige vraag, die ook nog eens op den duur kan veranderen. Daarom helpt het om je te focussen op wat je wilt meten, voor wie je het wilt meten en waarom je dat zo graag wilt meten voor deze perso(o)n(en).
Om het waarom, voor wie en wat te bepalen, neem ik je mee in de overige vier stappen. Deze stappen helpen jou verder een eerste versie van een metrics tool op te zetten.
Stap 2: Bepaal de ‘waarom’
De allereerste en wellicht de belangrijkste vraag die je jezelf als eerst moet stellen, is wat je met het meten wilt bereiken. Is dat de effectiviteit van de teams in kaart brengen? De gezondheid van het team ten aanzien van de duurzaamheid en continuïteit? Of misschien de agile transitie op teamniveau van oude naar nieuwe werkvormen? Zoals je ziet zijn er vele antwoorden op de waarom vraag.
Zoals eerder gezegd, kan het antwoord op deze vraag ook nog eens op termijn veranderen. Niet zo gek natuurlijk: verandering van het gedrag van het team door ontwikkeling leidt tot verandering van het doel van het team, dat vervolgens leidt tot een ander antwoord op waarom je bepaalde zaken wilt meten.
Maak voor jezelf eerst duidelijk waarom je iets wilt meten door jezelf constant de waarom vraag te blijven stellen. Net zoals een kind doet, tot vervelens toe doorgaan. Alleen dan kom je daadwerkelijk tot de kern van het antwoord op deze vraag en help je onderaan de streep jezelf ermee, omdat je daadwerkelijk wat met de data kunt. Een hulpmiddel hiervoor is de liberating structure de 9 why’s. Niet onbelangrijk is om kritisch naar je omgeving te blijven kijken en deze steeds vollediger in kaart te brengen. Wanneer je de omgeving goed in kaart hebt gebracht voor jezelf, kun je de behoefte van het meten verhelderen.
Voorbeeld van Agile Metrics uit de praktijk, deel 1
Laatst vroeg een klant mij te helpen met het opstellen van Agile Metrics. Natuurlijk wilde ik hen hier graag bij assisteren, maar de eerste vraag die ik stelde was waarom zij hiermee aan de slag wilden gaan. “Wij meten het succes en de voortgang van teams aan de hand van vaste KPI’s of targets. Nu wij met dit team in een agile transformatie zitten, zouden wij het fijn vinden om ook agile targets te formuleren.” “Maar wáárom willen jullie dat?” “Wij willen het succes van agile in kaart brengen, zodat wij kunnen aantonen dat agile succesvol is binnen de pilotteams en om dit te vergelijken moeten we de ‘traditionele’ targets van de ‘normale’ teams kunnen vergelijken met de output van de pilotteams.” Mijn reactie daarop is dat ze ten eerste de standaard van beoordelen op basis van targets zouden moeten loslaten. Metrics zijn bedoeld als input om het gesprek te voeren, niet om op te beoordelen of om te meten om maar te willen meten. Wordt vervolgd…
Stap 3: Bepaal de ‘wie’, ook met de wie
Na het beantwoorden van de waarom-vraag, kan de wie-vraag worden beantwoord met als belangrijkste vraag, wie wordt er daadwerkelijk beter van? Met als antwoord op het voorbeeld: het team dat zoekt naar psychologische veiligheid. Kijkend naar de theorie van Modern Agile (Joshua Kerievsky, 2016) is één van de vier pijlers ‘Maak psychologische veiligheid een voorwaarde’. Uitgaande van deze theorie, is het dus noodzakelijk om deze veiligheid te creëren alvorens effectief te kunnen zijn als team: zonder psychologische veiligheid geen volwaardige effectiviteit. Dat op zijn beurt leidt tot onvolledige data voor het MT met betrekking tot het meten van de waarde per epic. Met andere woorden, heel simpel gezegd, begin onderaan en bouw langzaam uit. Zorg dat de basis van de teams goed staat, want alleen dan kun je daadwerkelijk met meerwaarde grotere en moeilijkere karakteristieken meten.
Kortom, na het bepalen van de waarom, is de volgende stap het bepalen voor wie je het uiteindelijk allemaal doet. En deze vraag kan dus conflicteren met verschillende belangen binnen de vele processen die lopen binnen een gedragsveranderingstraject. Het management kan bijvoorbeeld heel wat andere zaken in kaart willen krijgen in een transformatie. Denk bijvoorbeeld aan de waarde per epic van alle teams afzonderlijk, waarmee je de pure effectiviteit meet. Ten opzichte van een opstartend team dat zijn weg zoekt naar het agile zijn die mogelijk meer behoefte hebben aan het creëren van psychologische veiligheid om zo effectiever te zijn. Hier conflicteren belangen van verschillende niveaus, en moet dus worden nagegaan welke op dat moment meer waarde heeft om te meten ten opzichte van de doorgang van het proces. Zeer verschillende belangen en antwoorden op de waarom-vraag maakt het onmogelijk om laagdrempelig te meten, zodat het niet te veel administratief werk wordt voor de Product Owners en de teams. Hierom is het ook belangrijk om het samen met de doelgroep te bepalen. Zij moeten er uiteindelijk gebruik van maken ten behoeve van hun eigen vooruitgang en dit kunnen volhouden. De ‘wie’ erbij betrekken is daarom van noodzakelijk belang om de tool uiteindelijk succesvol te laten zijn.
Voorbeeld van Agile Metrics uit de praktijk, deel 2
Gezamenlijk hebben de Product Owner, de Agile Coach en ik hier uiteindelijk een premature start gemaakt door de 12 principes van het Agile Manifest om te zetten in 12 stellingen waarop het team zichzelf individueel kon beoordelen. Kanttekening: gebruik nooit individuele data van teamleden. Het gaat hier om een groepsproces en daarom moet er áltijd worden gekeken naar het geheel van het team. Uit de praktijk bleek dat dit te uitgebreid was voor de toen huidige situatie, en ben ik weer met de teams rond de tafel gaan zitten: “Wat willen jullie er uiteindelijk zelf mee?” “We willen onze eigen behoefte toetsen aan de hand van Agile speerpunten.” Zodoende zijn er na twee sessies twee ‘agile targets’ geformuleerd (aan de hand van Wat, Hoe en Wanneer), welke gezamenlijk zijn opgesteld en waar het gehele team zich aan kon committeren. Deze twee targets zijn opgesteld op basis van de theorie Modern Agile (Joshua Kerievsky, 2016):
- Eén target op basis van de mens-as, waarbij er wordt gericht op het delen van vakkennis zodat er horizontaal door silo’s kan worden gewerkt; en
- Eén op basis van de product-as, waarbij er een x-aantal verbeteringen in de workflow moesten worden doorgevoerd ten behoeve van waarde voor de klant.
Stap 4: Bepaal de ‘wat’
Resumé: we hebben ‘waarom’, we hebben de ‘wie’ en logischerwijs komt hieruit de ‘wat’ zou je verwachten. Dit klopt. Maar een selectie maken uit alle mogelijkheden om de ‘wat’ te meten, dat is een uitdaging. Zeker als je er nog niet veel vanaf weet en na veel lezen (zonde van de tijd) beduusd bent van de vele mogelijkheden. Geen zorgen, ik heb dit al voor je gedaan en een viertal karakteristieken opgesteld als gemene deler die voorkomen op verschillende niveaus van een agile gedragsverandering.
Na het lezen van ontelbaar veel blogs en artikelen, het bekijken van explanations en het sparren met klanten en collega’s ben ik tot een bijzondere conclusie gekomen: meet zo weinig mogelijk voor zoveel mogelijk resultaat. Tijdens het maken van de tool was ik erg aan het worstelen met de vraag welke aspecten er áltijd in moeten staan, zodat ik een mooie basis kon bouwen. Daarbij moet je ook nog de keuze maken tussen welke harde en welke zachte metrics je erin wilt opnemen. Omzet, verwerkte epic’s en andere hoeveelheden welke 1 op 1 te meten zijn, worden harde metrics genoemd. Zachte metrics zijn vaak de meer niet tastbare metingen, zoals de uitkomst op de vraag ‘hoe voel je je?’ of ‘wat heb je nodig om jezelf verder te ontwikkelen in het team?’ De kunst is om deze laatste ook kwantificeerbaar te maken, bijvoorbeeld door middel van een 5-punts of 7-punts Likertschaal (lees meer over Likertschalen).
Het uiteindelijke antwoord is de vier onderwerpen:
- Productiviteit (hoeveel werk is er verzet?);
- Kwaliteit (hoe gelukkig is de klant?);
- Geleverde waarde (hoeveel omzet is er gedraaid?); en
- Duurzaamheid (kan deze continuïteit/dit tempo worden volgehouden?).
Deze verdeling is ontstaan uit de fundamenten van de theorie van Modern Agile (Joshua Kerievsky, 2016), welke bestaat uit twee assen (de mens-as en de product-as) die zijn opgedeeld in vier vakken: Maak mensen geweldig, Lever continu waarde, Maak veiligheid een voorwaarde en Experimenteer en leer snel. Wanneer deze aspecten in kaart kunnen worden gebracht, heb je een goudmijn aan waardevolle metrics, die kunnen fungeren als brandstof voor de juiste gesprekken.
Wellicht is je al opgevallen dat de antwoorden op de verschillende vragen een wisselwerking hebben op elkaar. Wanneer de ‘waarom’ verandert, verandert automatisch de ‘wie’ en vice versa. Als product van deze wisselwerking ontstaat de vraag wat er dan moet worden gemeten, wat een erg lastige vraag is in een complexe context. Blijf daarom je eigen tool toetsen: meet het nog wat het moet meten? Heeft de tool nog het gewenste effect? En hebben de gebruikers er nog steeds baat bij, of is de behoefte verschoven naar een ander onderwerp?
Als voorbeeld, één metric zoals omzet zegt opzichzelfstaand niets, de combinatie van metrics zodat er een nieuwe laag kan worden aangeboord maakt meten waardevol. De omzet kan ó zo hoog zijn, zolang je de gemaakte kosten niet weet is het gegeven omzet waardeloos. Dit gedachtegoed geldt ook voor Agile Metrics: geleverde waarde zegt op zichzelf niets, net als de verwerkte epics (productiviteit), maar de combinatie van geleverde waarde per epic vertelt je de mate van effectiviteit en daarmee heb je agile output te pakken. Bovendien kun je zonder te weten hoe het staat met het gevoel en het welzijn van de mensen alsnog geen antwoord geven op de vraag of een agile gedragsverandering de goede kant op gaat of niet. Want, de effectiviteit kan nog zo hoog zijn, als het team de continuïteit niet kan volhouden, stort het kaartenhuis vroeg of laat in. Sterke cohesie tussen de verschillende aspecten van Agile Metrics is daarom van cruciaal belang.
Stap 5: Leer in de praktijk
Uit de praktijk blijkt dat zowel de harde metrics als de zachte metrics geleidelijk aan met de ontwikkeling van het team mee veranderen. Hierdoor kan de behoefte aan wat te meten (snel) veranderen. Het is daarom ideaal om een tool te gebruiken waarbij je hier flexibel mee om kunt gaan. Erg laagdrempelig en voor een startende toolontwikkeling is een simpel Excel-bestand een prima begin. Hierin kun je het aantal deelnemers aanpassen als tabblad, die zijn gelinkt naar een moedertabblad. Als er in het moedertabblad iets wordt aangepast, wordt dit automatisch in de andere tabbladen gecorrigeerd. Ten slotte kan elke deelnemer zelf zijn gegevens doorgeven die automatisch worden doorvertaald naar een grafiektabblad, waarmee de ruwe data kan worden gevisualiseerd en geanalyseerd. Enkele voorbeelden worden hieronder getoond: afbeelding 1 is het moedertabblad, afbeelding 2 is een tabblad van een deelnemer en afbeelding 3, 4 en 5 zijn enkele grafieken van het grafiekentabblad. Noot: de ingevulde waarden zijn fictieve waarden en enkel ingevuld voor het creëren van een visualisatie.
Afbeelding 1. Voorbeeld moedertabblad.
Afbeelding 2. Voorbeeld tabblad van een deelnemer.
Afbeelding 3. Voorbeeld grafiek ‘Waarde per epic’.
Afbeelding 4. Voorbeeld grafiek scores ‘Sustainability’.
Afbeelding 5. Voorbeeld grafiek gemiddelde score ‘Sustainability’.
Samengevat:
- Excel is voor een onervaren iemand gemakkelijk in gebruik (met Google-search als hulplijn);
- …is vaak een programma dat standaard op een laptop staat dus laagdrempelig toegankelijk voor iedereen;
- …is gemakkelijk aan te passen gedurende een lopende meting; en
- …is laagdrempelig in (administratief)gebruik voor teamleden/deelnemers.
Afsluitend wil ik de tip geven vooral klein te beginnen. Ga voor effectiviteit door zo snel mogelijk een premature versie in gebruik te nemen en deze constant te reviewen aan de hand van de feedback van de gebruikers. Het is niet erg om enkel met één vraag of stelling te starten; het is juist zonde veel tijd (en geld) te steken in een volledig doordachte tool die uiteindelijk niet meer de vraag beantwoord die in eerste instantie werd gesteld. Daarom is het belangrijk klein te beginnen en dit steeds verder uit te breiden en aan te passen naar de behoefte van de gebruiker.
Kortom: begin klein, leer al doende, voeg toe waar de behoefte ligt, daag jezelf uit kritisch te blijven op je eigen creatie en houd het overkoepelende doel goed voor ogen.
Extra informatie over Agile Metrics
Leestips:
- Agile KPI’s
- Agile Metrics: The 15 That Actually Matter for Success
- Agile Metrics – The Good, the Bad, and the Ugly
- How We Use Metrics At The Liberators
- Case autismehuis: ‘Met gevoelige data kun je ook ímpact maken’
Kijktips:
