Hoe dat samenvoegen gebeurt, staat zelden in de rapportage. En juist daar wordt de uitkomst bepaald. Ik laat dat zien aan de hand van een voorbeeld. Het is verzonnen, en de getallen dienen de redenering, niet een norm die ik aanbeveel.

Het voorbeeld

U wilt weten of de orderverwerking doorgaat wanneer er iets uitvalt. Het bestuur heeft daar een eis voor vastgesteld. Op elk moment van de dag moeten er minstens 120 orders per uur verwerkt kunnen worden.

Orders komen langs drie routes bij de centrale orderverwerking binnen.

  • Route A, de webshop. De klant logt in op de webshop en voert de order in. De webshop geeft haar door aan de orderverwerking. Capaciteit 100 orders per uur, dag en nacht.
  • Route B, het klantenportaal. De klant logt in op het portaal en voert de order in. Het portaal geeft haar door aan de orderverwerking. Capaciteit 100 orders per uur, dag en nacht.
  • Route C, de servicedesk. De klant belt, en een medewerker voert de order rechtstreeks in de orderverwerking in. Een medewerker haalt 10 orders per uur, en tijdens kantooruren zijn er altijd minstens vijf medewerkers. Capaciteit 50 orders per uur, alleen tijdens kantooruren.

De centrale orderverwerking zelf verwerkt door haar licentie hoogstens 200 orders per uur. Op het drukste moment van een kantoordag is dat ook gemeten.

Elke route is getest. De webshop haalde zijn 100, het portaal zijn 100, de servicedesk zijn 50. Drie tests, drie keer geslaagd op drie verschillende momenten. Meer verslagen zijn er niet. Nu drie mensen die er een conclusie uit trekken, en alle drie kennen hun vak.

Drie manieren om dezelfde stukken te lezen

De eerste lezer telt op. Overdag 100 plus 100 plus 50, begrensd door de licentie op 200. 's Nachts 100 plus 100, dus ook 200. De eis is 120. Elke route is getest en geslaagd, en er zit 80 orders per uur ruimte tussen wat kan en wat moet. Zijn conclusie is dat de orderverwerking geborgd is, met marge.

De tweede lezer rekent met het verlies van een route. De eis geldt op elk moment, en welke route uitvalt weet u vooraf niet. Hij haalt daarom steeds één route weg en kijkt wat er overblijft. Overdag gaat dat goed. Zonder de webshop blijven portaal en servicedesk over, samen 150. 's Nachts niet. De servicedesk is dicht, en zonder de webshop blijft alleen het portaal over, 100. De eis is 120. Zijn conclusie is dat de orderverwerking buiten kantooruren niet geborgd is, met een tekort van 20 orders per uur zodra een van de twee routes wegvalt. Hij adviseert de capaciteit van webshop of portaal naar 120 te brengen, of 's nachts twee medewerkers bereikbaar te houden.

De derde lezer vraagt wat de routes gemeenschappelijk hebben. De eerste twee lezers rekenen met de routes alsof zij los van elkaar staan. Optellen klopt alleen dan, en het wegdenken van één route klopt alleen als een storing er inderdaad één treft. Of dat zo is, staat in geen van de testverslagen, want elke test ging over één route. Deze lezer vraagt het na bij de beheerders.

Wat dan boven komt, is dit. De webshop en het portaal draaien bij dezelfde hostingpartij. Zij gebruiken dezelfde dienst om klanten te laten inloggen, dezelfde netwerkverbinding naar het datacenter, en bij de hostingpartij dezelfde firewall. En in het datacenter staat een firewall waar alle drie de routes doorheen gaan, de servicedesk ook. Alles is dubbel uitgevoerd, dus tegen een kapot apparaat is men beschermd. Maar een verkeerde wijziging in de firewall van de hostingpartij, een verlopen certificaat of een storing in de inlogdienst raakt niet één route maar webshop en portaal tegelijk. Dan blijft er 's nachts niets over, en overdag alleen de servicedesk met 50 orders per uur. En gaat het mis in de firewall van het datacenter, dan vallen alle drie de routes weg, ook overdag. Zijn conclusie is dat de stukken de eis nog niet dragen. Wat getest is, zijn de routes elk voor zich. Waar de eis op rust, is wat zij delen, en dat is nooit getest.

Dezelfde stukken, drie uitkomsten

Geborgd met marge, niet geborgd buiten kantooruren, nog niet aangetoond. Drie conclusies uit dezelfde drie testverslagen, door drie mensen die hun vak kennen.

Het verschil zit niet in de stukken, want die waren voor alle drie gelijk. Het zit niet in de eis, want die stond vastgesteld op papier. Het zit ook niet in deskundigheid. Het verschil zit in de regel waarmee de stukken zijn samengevoegd. Optellen, rekenen met het verlies van een route, of eerst zoeken naar wat gedeeld wordt.

Die regel heeft niemand opgeschreven. Elke lezer koos er zelf een, en elk van de drie kan die keuze verdedigen. Maar met die keuze lag de uitkomst vast. Dat is wat de titel zegt. Wie de rapportage maakt, bepaalt de uitkomst. Niet door iets te verdraaien, maar door een keuze te maken die niemand hem heeft opgedragen en die niemand terugziet.

De juiste regel is geen mening

Als drie deskundige lezingen mogelijk zijn, is het dan een kwestie van smaak welke u kiest? Nee. Welke regel klopt, volgt uit hoe uw organisatie in elkaar zit.

Kan een storing één route treffen en de andere niet? Dat hangt af van wat de routes delen, en dat is een feit over uw koppelingen. Wat betekent "dubbel uitgevoerd" precies? Dat de tweede helft het overneemt als de eerste kapotgaat, en niet dat een fout die beide helften raakt wordt opgevangen. Ook dat is een feit, en het staat in het ontwerp. Hoeveel orders komen er 's nachts werkelijk binnen? Dat staat in uw eigen cijfers, en het bepaalt hoe zwaar de nachtelijke uitkomst van de tweede lezer weegt.

De juiste regel is dus te vinden. Alleen moet iemand ernaar zoeken, en dat gebeurt pas wanneer iemand vraagt hoe de stukken samenhangen in plaats van wat elk stuk afzonderlijk zegt. De eerste twee lezers stelden die vraag niet. Niet uit onkunde, maar omdat de stukken er geen aanleiding toe gaven. Elk testverslag ging over één route en was op zichzelf in orde.

Het gedeelde onderdeel staat nooit in de stukken

Dat is geen toeval van dit voorbeeld. Een testverslag beschrijft wat is getest, en dat is één route. De inlogdienst, de netwerkverbinding en de firewall horen bij geen van de routes en staan dus in geen van de verslagen. Zij zijn infrastructuur, van iedereen en dus van niemand. Wat zij voor de conclusie betekenen, zit alleen in het hoofd van wie alle routes kent, en het komt pas op tafel als iemand ernaar vraagt.

Routes die aan hetzelfde onderdeel hangen, vallen samen weg als dat onderdeel wegvalt. Op papier heeft u er drie. In werkelijkheid heeft u er dan één, of geen, en aan een overzicht met drie routes is dat niet te zien.

Wanneer ook de eis ontbreekt

In het voorbeeld had het bestuur de eis vastgesteld op 120 orders per uur, op elk moment. Is die eis er niet, dan staat er in de conclusie geen getal maar het woord "voldoende". Wat voldoende is, heeft de schrijver dan zelf ingevuld. Dan liggen beide keuzes bij de maker van de rapportage, de maatstaf en de regel. Hoeveel de organisatie moet kunnen tijdens een storing en hoe lang, hoort tot wat het bestuur vaststelt of laat vaststellen. Vaak volgt het al uit een klantcontract, een wettelijke verplichting of een afspraak met de bank.

Onderweg naar boven verdwijnt het voorbehoud

Elk stuk zegt minder dan de conclusie erboven. Het testverslag van de webshop gaat over één route, op één dag, met de andere routes buiten beeld en met alle gedeelde onderdelen in bedrijf. Bij elke samenvatting laat iemand een voorbehoud weg, omdat het op dat niveau klein lijkt. "Elke route op een eigen moment getest" wordt "getest". "Dubbel uitgevoerd" wordt "geen risico". "Drie keer geslaagd" wordt "geborgd, met marge".

Aan het eind leest de conclusie zonder voorbehoud, terwijl geen enkel stuk eronder dat was. Er is niets verzonnen. Er is steeds iets weggelaten.

Vier vragen aan wie de rapportage maakte

U hoeft hiervoor geen dossier op te vragen. Vier vragen aan tafel zijn genoeg.

  • Aan welke eis is dit getoetst, en wie heeft die eis gesteld?
  • Welke stukken dragen dit oordeel, en wat is daarin precies getest?
  • Hoe zijn de stukken samengevoegd, en waarom op die manier? Opgeteld, gerekend met het verlies van een onderdeel, of eerst gezocht naar wat gedeeld wordt?
  • Wat hebben de onderdelen gemeenschappelijk, en is dat gedeelde onderdeel meegetest?

De derde vraag is de vraag van dit artikel. Krijgt u daarop een antwoord, dan ziet u de regel en kunt u haar tegenspreken. Krijgt u het niet, dan leest u een uitkomst waarvan u niet weet hoe zij tot stand kwam.

Kern

Een conclusie over continuïteit is geen optelsom van de stukken eronder. Het is een oordeel over hoe die stukken samen werken, en dat oordeel volgt een regel.

Staat de regel niet in de rapportage, dan is zij toch toegepast. Alleen heeft degene die schreef haar gekozen, en niet u. Zolang dat zo is, bepaalt wie de rapportage maakt de uitkomst.

De eis is aan het bestuur, en die hoort er te zijn voordat er wordt gerapporteerd. De regel hoeft het bestuur niet te bedenken. Zij volgt uit hoe de organisatie in elkaar zit, en wie de rapportage maakt is de aangewezen persoon om haar te vinden en op te schrijven. Wat het bestuur wel kan eisen, is dat zij in de rapportage staat, met de feiten waarop zij rust. Dan ziet u niet alleen de uitkomst maar ook de weg ernaartoe, en kunt u de regel beoordelen in plaats van alleen de uitkomst.