TestNet, voorjaarsevenement 2013

Door Suzefred gepubliceerd op Monday 13 May 18:28

Afgelopen nacht is de batch stukgelopen.

Mijn eerste gedachte is ‘licentieprobleem’, maar dat blijkt niet het geval te zijn want dan zou alles fout zijn gegaan, maar van de pakweg 2000 testgevallen, zijn er 6 niet Ok bevonden. Minder dan 1%.

Overdag kijk ik de tests na en ja hoor, het is verklaarbaar, de testdata in onze testomgeving is inmiddels gewijzigd en de tests, die juist gebruikt maakten van de oude waardes, kloppen niet meer.

Kwestie van een kleine aanpassing en hij loopt weer. Overdag even een snelle blik, vannacht weer de hele batch. Vol vertrouwen sluit ik de boel af en ga op weg naar het voorjaarsevenement van TestNet, de vereniging van en door testers.

 

c46e88a2f1b823f7c5e453b8b6213e69.jpg

 

De tekst hierboven is zo maar een stukje tekst wat ik in het NBC in Utrecht schrijf, maar in dit stukje tekst gaan wel meteen een aantal hoofdbrekens schuil waar we in de testwereld mee te maken hebben en er zijn er nog meer te bedenken. Veel meer.

Voor degenen die het NBC niet kennen, dat is een groot gebouw met meerdere zalen waar conferenties worden gehouden en vandaag is het afgehuurd door TestNet, een vereniging voor en door testers. Twee keer per jaar doen die een groot evenement en maandelijks een kleiner evenement.

Het evenement vandaag gaat toevallig over testautomatisering. Nou ja, niet toevallig, testautomatisering is hot. We kunnen niet meer zonder. Testautomatisering lost alle problemen op.

 

Cynic-mode off.

 

Testautomatisering kan de oplossing bieden voor een aantal problemen waar we mee te maken hebben, maar het brengt ook weer een flink aantal problemen met zich mee.

 

  • Licentieproblemen. ‘Tuurlijk, als het eenmaal goed ingeregeld is, dan heb je hier nooit meer last van, maar totdat het goed geregeld is, kan nog wel even duren.  Tot die tijd heb je vermoedelijk te maken met een beperkt aantal licenties, die je moet delen met je collega’s. Of je hebt wel licenties, totdat de maand op is, en dan moet je een nieuwe licentie zien te bemachtigen.
  • Tests die falen door een veranderende testomgeving. Eigenlijk is dat niet eerlijk, want ook bij niet-geautomatiseerd testen heb je hier last van, het wordt eigenlijk wat sneller zichtbaar dat je gestructureerd aan het werk gaat, terwijl je handmatig wat eerder geneigd bent om ‘exploratory’ bezig te zijn. Je voert een testgeval uit met een bepaald gegevens, ‘oh, dat is er niet, wat nou als ik dan even die andere neem’. Handmatig ben je een minuut later al weer aan de slag. Geautomatiseerd loopt je test stuk. Tenzij je daar natuurlijk op anticipeert.
  • De test fail-proof maken. Als vervolg op bovenstaande, moet je altijd rekening houden met situaties als ‘wat nou als dit stuk test niet werkt, kan hij dan nog wel verder?’ Handmatig kan je op het moment dat hij fout loopt besluiten wat je gaat doen. Draait het geheel bijvoorbeeld ’s nachts, dan zal je hier van te voren al over na moeten denken.
  • Minder dan 1% ging mis. Ik ken de valkuil en trap er bewust niet in, maar onwillekeurig ga je misschien toch zo denken. 2000 gelukt, en 6 fout. Dat valt best mee. Of toch niet? Wat zijn dat voor testgevallen, wat zijn de gevolgen, oftewel, wat is het risico wat die tests afdekken?
  • 2000 testgevallen. Dat klinkt indrukwekkend, maar wat doen die testgevallen? En wat versta je dan eigenlijk onder een testgeval? Hypothetisch kan het zo zijn dat je alle postcodes probeert in te voeren, is dat 1 testgeval met een algorithme dat steeds herhaald wordt? Maar wat als die fout gaat bij 6 verschillende postcodes, gaat dan 1 test fout, of 6? Hoe dan ook, het aantal zegt (mij) niet zoveel. Al staat er dat er 6.7 miljoen testgevallen uitgevoerd zijn (bijvoorbeeld alle theoretisch mogelijke postcodes zijn ingevoerd), dan heb je vermoedelijk nog steeds maar een klein gedeelte van je applicatie getest. En mis je misschien nog steeds de theoretisch foute postcodes?

Het zijn zo maar wat bedenkingen die opkomen naar aanleiding van de eerste paar zinnen en als ik er nog wat verder over na ga denken, komen er ongetwijfeld nog veel meer.

En daar hou ik wel van. Het testvak is leuk. Het is als die 5-sterrencryptogram in de krant waar je het hele weekend mee bezig bent, maar dan beroepsmatig.

En als je al denkt ‘dat je er best wel wat vanaf weet’, dan is er gelukkig weer een TestNet-event waarmee het weer heel snel duidelijk wordt dat er nog zoveel te leren valt en dat je nog lang niet alles weet.

 

En in de tussentijd zie ik ook nog wat bekenden langslopen die ik ook weer even gedag wil zeggen. “Het is een kleine wereld” wordt vaak gezegd. Je komt elkaar altijd wel weer ergens tegen. En op TestNet is die kans zeer groot.

Zit je in het testvak en ben je nog niet lid? Denk er eens over. Het verbreedt je kennis(enkring).

De moeite waard!

 

 

09e00e2808c23813a6008833164a4b1e_medium. Fred Steenbergen is beroepsmatig Testspecialist. Zijn vrije tijd gaat grotendeels op aan het vrijwilligerswerk voor Stichting Dierenopvang Bosnië Hiermee gaat hij meerdere keren per jaar naar Bosnië om daar te helpen met het steriliseren van zwerfhonden.
Wilt u ook helpen? Helpen kan gratis!
U kunt bijvoorbeeld een verschil maken met Douwe Egberts Punten.
En wanneer deed u voor het laatst iets met uw Air Miles?
Ik flikker hem nog liever in de sloot!!!” Waar dat op slaat? Dat leest u hier.

Anderen lazen ook:

b5e864d1cb867ef6794a99a0114c8347_medium. afe013379da70a4acc01526b4bebd3fa_medium. b2a726feaf87b28201a84d0931644bfe_medium.

Agile, deel 1

Het teamoverleg

TestNet,

de waarde van testen

Lessons Learned,

Les 287

Reacties (2) 

Voordat je kunt reageren moet je aangemeld zijn. Login of maak een gratis account aan.
Gelukkig, ik dacht al, ik snap er geen snars van.
Wat is een Batch en wat zijn licensieproblemen. Kortom dat hele eerste verhaal las ik zonder enige herkenning
Dan komt er een verklaring die toch ook enig vakjargonkennis vergt. Ik begrijp het nu. Dat testgebeuren trekt een heel speciaal publiek met hele speciale sensaties Het is een zeer speciaal vak, geschikt voor speciale mensen die er een heerlijk kik van krijgen...want van de 2000 6 fout, blijft gewoon 6 fout...en dat betekent dat het nog beter kan...en dat houdt in dat.. en dan moet je zus, of kun je zo... Lijkt wel iets op hoe een kunstenaar de dingen bekijkt...
:-)
Gave reactie Weltevree, vooral die 6 fout van de 2000 is nog steeds 6 fout.
Precies zoals ik er tegenaan kijk ;-)
(maar je hebt gelijk, het is een verhaal vooral even voor de testers onder ons (of misschien wel het eerste verhaal in een serie van enkele, dat weet ik nog niet, dit was een soort intro)