Neuer Test-Standard ISO 29119 – pro und contra

Standards  –  4 Kommentare

Erste Teile des neuen ISO-Standards zum Software-Testen sind seit letztem Jahr finalisiert, andere werden schon bald folgen. Was für die einen als notwendige Änderung für die Qualitätssicherung erscheint, stößt bei anderen auf heftigen Widerstand. Beide Seiten haben ihre guten Gründe.

In den vergangenen Monaten flammte eine Diskussion rund um den neuen Test-Standard ISO 29119 auf. Auf der einen Seite lautet der Vorwurf, dass sich die Befürworter des neuen Standards eine Existenz mit schwergewichtigen und veralteten Vorgehensweisen sichern wollen. Auf der anderen sind die Mitglieder rund um die Arbeitsgruppen verwundert darüber, warum diese Kritik erst so spät aufkommt und die Kritiker sich nicht schon viel früher einer der Arbeitsgruppen angeschlossen haben.

Beide Seite bringen offenbar schlüssige Argumente. Deshalb scheint es, als sei der Manager, der die Qualität seiner Produkte verbessern will, wieder mal einem Trilemma ausgesetzt. Ändert er nichts, bleibt alles so gut – oder schlecht –, wie es ist. Startet er eine Initiative rund um ISO 29119, dann könnte er am Ende herausfinden, dass er zwar viel Geld in die Veränderung investiert hat, aber damit auch die Entwicklungskosten hoch treibt. Wo sind die Alternative der ISO-29119-Opposition?

ISO/IEC/IEEE 29119 löst einige in die Jahre gekommenen Standards rund um das Softwaretesten ab. Zum einen handelt es sich dabei um den IEEE 829 zur Testdokumentation von 2008, IEEE 1008 zu Unit Testing aus 2009 und BS 7925 zu Testtechniken.

Der neue Standard ist in fünf Teile aufgeteilt. Im ersten Teil geht es um Konzepte und Definitionen. Im zweiten werden Testprozesse behandelt. Der dritte Teil bearbeitet die Testdokumentation. Teil vier berücksichtigt Testtechniken. Im fünften Teil versucht der Standard, an die agile Entwicklung mit Keyword-driven Testing anzuschließen.

Die ISO verteilt die Dokumente gegen eine jeweilige Gebühr an Einzelpersonen. Als PDF kosten Teil 1 und 2 jeweils 88 US-Dollar; für Teil 3 veranschlagt die IEEE 155 US-Dollar; Teil 4 und 5 sind bisher noch nicht veröffentlicht. Die gedruckten Ausgaben sind jeweils ein wenig teurer.

Die ISO verlangt für eine derartige Norm ein international abgestimmtes Verfahren. Dabei gründen sich verschiedene lokale Gruppen, die Feedback zu den Standards geben und diese stetig weiterentwickeln. Um zu einem Dokument zu kommen, das veröffentlicht werden kann, fließen viele Arbeitsstunden in die Ausarbeitung und ständige Verbesserung. Deshalb wundert es nicht, dass die Grundlagen für den neuen Standard bereits 2010 geschaffen wurden.

Bedenkt man, dass derart viel Arbeit in diese Dokumente geflossen ist, dann sind diese Preise nachvollziehbar. In der Praxis wird so allerdings eine Kostenbarriere geschaffen, die erst mal davon abschrecken kann, sich tiefergehend mit dem Standard auseinanderzusetzen.

Die Opposition hat einige Kritikpunkte auf Lager. Zum einen bringt der Test-Consultant James Christie das Argument des Rent-Seekings auf. Dabei handelt es sich um politische Lobby-Arbeit, die einem eine politische Rente sichern soll. Er führte in seinem Vortrag auf der Conference der Association for Software Testing (CAST) in New York City in diesem Jahr weiter aus, dass ISO 29119 als Hauptzielgruppe Industrien mit einer starken Normung habe.

Dabei handelt es sich vor allem um Banken, Telekommunikationsunternehmen oder den Rüstungs- und Atomenergiesektor. Aber auch öffentliche Ausschreibungen von Regierungen werden vermutlich das Einhalten von Standards wie ISO 29119 vertraglich einfordern, sofern er erst einmal komplett erstellt ist. Unter diesen Gesichtspunkten wird auch das Argument des Rent-Seekings deutlich. Ist der Standard erst draußen und setzen mehr und mehr Industrien auf ihn, dann werden große Testanbieter zunehmend gezielt nach Erfahrungen mit ISO 29119 suchen und ihr Personal entsprechend schulen und ausbilden.

Weitere Argumente umfassen, dass es sich bei den Inhalten nicht um einen international anerkannten Standard handele. Die Community hinter der Opposition ist die sogenannte Context-driven Testing Community. Markant für sie ist die kritische Auseinandersetzung mit verschiedenen Sichtweisen. Beispielsweise raten Cem Kaner, James Bach und Bret Pettichord in "Lessons Learned in Software Testing" – einem Schlüsselwerk der Community – in Lektion 145, den IEEE-829-Standard für Testdokumentation zu verwenden. Lektion 146 auf der gleichen Seite rät dazu, IEEE 829 nicht zu nutzen. Natürlich beleuchten die Autoren die jeweiligen Umständen, unter denen der Einsatz sinnvoll ist und wo nicht.

Obwohl Christie seinen Vortrag auf der CAST gehalten hat, hat sich die dahinter stehende Association for Software Testing (AST) bislang nicht öffentlich zu einem Statement diesbezüglich bekannt. Die International Society for Software Testing hingegen hat sich klar hinter die Petition zum Stopp von ISO 29119 positioniert. Beide Organisationen unterstützen die Prinzipien des Context-driven Testing. Dieses will über konstruktiven Austausch und tiefgehende Argumentationsführung die kontextabhängigen Faktoren ergründen und Tester wie Manager eher zum Nachdenken als zum blinden Befolgen von Richtlinien anregen.

Die Sichtweise, dass alles auf den Kontext ankomme, ist auch ausschlaggebend für die Kritik an ISO 29119. Böse Zungen behaupten sogar, dass sich die Context-driven Testing Community nicht einig darüber sei, ob sie ISO 29119 kritisieren sollte. Aus der Sicht der Kritiker ist der Standard nicht universell einsetzbar und kann in Einzelfällen sogar mehr Schaden anrichten, als wenn man ihn nicht befolgt. Außerdem ist ein Kritikpunkt, dass viele der beschriebenen Techniken und Vorgehensweisen veraltet seien und unnötigen Mehraufwand und damit auch Mehrkosten zur Folge hätten.

Ein dritter Kritikpunkt ist, dass die Community in die Ausarbeitung nicht involviert werde. Die Protagonisten von ISO 29119 behaupten zwar, dass einflussreiche Tester aus der Context-driven Testing Community an der Ausarbeitung des Standards mitgewirkt hätten, doch bleibt bislang unklar, um wen es sich dabei genau gehandelt haben soll. Fakt ist, dass ISO 29119 behauptet, jetzt auch agile Vorgehensweisen zu unterstützen. In der Tat ist dieses einer der großen Verkaufsargumente, wenn man dem Werbematerial glauben schenken mag. Allerdings bleibt unklar, welche agilen Vorreiter an der Ausarbeitung mitgewirkt haben. Lisa Crispin, Janet Gregory, Gojko Adzic und weitere agile Namensträger tauchen leider nicht unter den Autoren auf.