Hallo und herzlich willkommen zu einer neuen Folge vom Podcast Software Testing. Ich bin euer Host Ritschi und heute eine Spezialfolge zur Software Test Umfrage 2024. Bei mir zu Gast dazu Karin Voseberg. Sie begleitet die Umfragen, die alle paar Jahre stattfinden von Anbeginn im Jahr 2011. Die vierte Ausgabe der Software Test Umfrage läuft jetzt gerade im September und bevor wir ins Detail gehen, möchte ich euch natürlich hier schon mal dazu aufrufen an der Umfrage mitzumachen
und natürlich auch die bestehenden Ergebnisse mal durchzusehen. Ich glaube für euch als Tester, Testmanager, Freelancer und Unternehmen steckt da einiges an wertvoller Information drinnen. Und jetzt viel Spaß bei der Folge. Hallo Karin, schön, dass du da bist. Hallo Ritschi, ich freue mich da zu sein. Ja, es ist ja das zweite Mal, dass du im Podcast hier bei mir bist. Das freut mich sehr.
Das stimmt. Das letzte Mal durfte ich ja über meine Ideen von Nachhaltigkeit in der Lehre ein bisschen sprechen. Genau. Ja, und diesmal haben wir ein anderes Thema mitgebracht und zwar geht es um die Software Test Umfrage. Genau. Wir wollen in diesem Jahr noch mal wieder zum vierten Mal jetzt die Software Test Umfrage machen. Nach 2011, 2015, 2016, 2020 wollen wir dieses Mal wieder umfangreich alle befragen und haben dann Daten über knapp 15 Jahre vorliegen. Das finde ich ganz spannend.
Ja, das ist ja sehr spannend. Also das ist ja jetzt schon quasi immer mit ein paar Jahren Abstand. Wie kam es denn dazu? Wie seid ihr denn auf die Idee gekommen, überhaupt das zu machen? Es gab eine Umfrage 1997 oder so ähnlich im Rahmen einer Dissertation. Im Grunde haben dann Andrea Spilner, Kollegen von Anicon damals und ich darüber diskutiert, ob wir sowas nicht mal machen wollen und im Grunde sowas wie eine kleine Langzeitstudie daraus machen wollen.
Wir haben dann aufbauend aus den Fragen und die Fragen überarbeitet und haben noch weitere Personen mit ins Boot geholt, nämlich Mario haben wir mit ins Boot geholt und das German Testing Board, weil wir denken, das ist ein guter Ort für solche Langzeitstudien, um das auch langfristig begleiten zu können und haben dann auch das Austrian Testing Board und das Swiss Testing Board. Seitdem machen wir mit unterschiedlichen Konstellationen alle vier Jahre diese Umfrage.
Öfter scheint uns auch nicht unbedingt notwendig und es ist erstens in der Durchführung für uns und auch für die Teilnehmenden immer sehr aufwendig, weil diese Fragebögen sind immer sehr neugierig. Die sind schon ziemlich lang, aber bislang haben wir ziemlich viele Antworten gekriegt, sodass wir glaube ich auch ganz gute Aussagen treffen können und auch ganz gute Vergleiche hinkriegen. Wir haben dann 2011 das erste Mal damit gestartet, 2015/16 war dann das
Swiss Testing Board mit dabei. Wir haben dann entschieden, dass wir keine Firma mehr mit reinnehmen, auch aufgrund von Rückmeldungen, um auch deutlich zu machen, das sind erst mal unabhängige Daten und nicht in einem Firmenkontext zu sehen. Das hat uns nochmal so ein bisschen, also diese Rückmeldung gezeigt, dass es doch sonst immer mal wieder Vorbehalte gab. Ja, klar. Und seitdem ist das German Testing Board als sehr verlässlicher Partner. Dort ist es jetzt
auch lokalisiert. Auch auf deren Seiten gibt es unsere Internetseite, softwertest-umfrage.de. Ich habe sie gerade offen, softwertest-umfrage.de. Ich habe sie heute schon so oft aufgerufen, weil ich sie gerade neu schreibe für die aktuelle Umfrage. Ich stelle die gerade um, deswegen weiß ich schon. Ja, die läuft ja schon ein paar Jahre. Worum geht es denn da drin? Ich meine,
ein Software-Test, das ist ja natürlich ein breites Feld. Was sind denn da so typische Fragen oder Fragebereiche, die da drinnen abgefragt werden? Also zum einen fangen wir immer damit an, was für Rollen ordnen sich die Menschen eigentlich zu. Und da interessiert es uns auch insbesondere in dieser Veränderung der Projektlandschaft von eher traditionellen Projekten, wo wir klassische Rollenunterscheidungen haben, hin zu agilen
Projekten, wo wir diese Rollenunterscheidungen gar nicht mehr so extrem haben. Interessiert es uns auch trotzdem, ob die Personen sich ihren Rollen und ihren Kompetenzen, den Rollen entsprechend eher zuordnen? Und das fand ich hat auch 2020 sehr schön gezeigt, obwohl wir einen sehr, sehr hohen Anteil an agilen Projekten haben, haben sich die Personen selber sehr den Rollen zugeordnet. Das kann natürlich schon auch sein, das ist ihre Tradition, da sind sie ein bisschen
drin verortet. Vielleicht muss man auch eher nicht von Rollen, sondern eher von Kompetenzen. Wo sehen sie ihre Hauptkompetenzen? Und dann ist es vielleicht auch wieder verständlich, warum sie sich diesen Rollen zuordnen. Also das finde ich immer sehr spannend. Und das andere, was ich eben schon gesagt habe, seit 2011 bis 2020 hat sich praktisch das umgedreht, das Verhältnis von
traditionellen Projekten in phasenorientierten Modellen zu agilen Projekten. Am Anfang war es ungefähr 25 Prozent agil und 75 Prozent noch, nicht ganz, waren traditionell und jetzt ist es genau umgekehrt. Also wir haben einen sehr, sehr hohen Anteil. Trotzdem haben wir aus den Diskussionen festgestellt, naja was verstehen die meisten unter agil und können sich dann oft gar nicht so richtig einordnen, weil sie schon auch sehr viele phasenorientierte Elemente in ihren
Projekten haben. Wir nennen das ja manchmal so abschätzlich so Wasser-Squam-Fall oder wie man das immer. Also dass es eher so eine Mischung manchmal ist und dass sie eher so ein bisschen hybride Verfahren haben. Deswegen haben wir für dieses Jahr das auch noch mal versucht aufzuschlüsseln, ob sie sich nicht eher einem hybriden Verfahren zuordnen, um das mal ein bisschen differenzierter noch mal betrachten zu können. Wobei das natürlich für viele auch schwierig ist,
weil sie sich unterschiedlichen Projekten zuordnen und die dann unterschiedlich agieren. Deswegen ist das immer nicht ganz so einfach zu beantworten, aber man kann so eine Tendenz daran erkennen. Verstehe. Und dann versuchen wir herauszufinden, ob sie das nicht nur einfach sagen, sondern es gibt
natürlich Praktiken, die wir den agilen Projekten zuordnen. Da versuchen wir herauszufinden, wie wichtig finden sie diese Praktiken auch für Qualitätssicherung, um zu sehen, naja sind sie wirklich in diesem agilen Mindset angekommen oder bedeuten diese Praktiken überhaupt
gar nichts? Da fand ich beispielsweise 2020 sehr interessant, dass diese sehr Programmcode-nahen Praktiken, die haben einen sehr, sehr hohen Stellenwert gehabt, aber eher so organisatorische, die so den Mindset ausmachen, sowas wie Kollektiv-Code-Ownership, was ich als eigentlich ein total wichtiges Element gerade auch für Qualitätssicherung finde, dass alle verantwortlich
sind und gemeinsam da drauf schauen können. Das wird nur von 50 Prozent gesehen. Oder auch Peer-Programming, was ich ein ganz, ganz wichtiges Element der Qualitätssicherung empfinde, machen offensichtlich nur unter 50 Prozent. Da hatten wir so den Eindruck, dass so diese starke Fixierung auf "Es muss laufen", "Der Programmcode muss laufen" sehr stark sich verstärkt hat und
dabei andere Sachen so ein bisschen weniger betrachtet werden. Und dann fangen wir ganz viele Sachen zu klassischen Methodiken, weil wir ja aus Sicht der Qualitätssicherung immer wissen wollen. Wir haben aus der Programmierung, kennen wir ganz viele Methodiken, die wir versuchen anzuwenden in der Softwareentwicklung. Und wir haben ganz oft den Eindruck, dass die Methodiken, die wir auch beim Testen haben, nicht wirklich bekannt sind oder nicht angewendet werden. Und
deswegen fragen wir ganz viel nach Verfahren, Methoden. Da fand ich zum Beispiel super interessant, dass diese klassischen Testverfahren, die Äquivalenzklassen, Grenzwertanalysen bis hin zu Anweisungsüberdeckung, Entscheidungsüberdeckung deutlich zurückgegangen sind. Also das spielten spielen offensichtlich viel weniger eine Rolle. Und ganz erstaunlich fand ich eigentlich, dass zum Beispiel Anweisungstests für eine Anweisungsüberdeckung als Methode von 18 Prozent
überhaupt nicht bekannt waren. Und das fand ich dann zum Teil erschreckend vielleicht auch. Schaffen wir es nicht deutlich zu machen, dass diese Methodiken eine Bedeutung haben oder gehen sie einfach im Alltag unter. Und auf der anderen Seite, gerade in agilen Projekten, wenn ich kurze Zyklen habe, eine Testautomatisierung, dann bekomme ich immer ein Dashboard mit Key Performance Indikatoren wie Anweisungsüberdeckung. Dass ich das nicht
zusammenbringen kann, das fand ich wirklich erstaunlich. Also ohne da jetzt zu errakeln, wäre das jetzt auch mein Zugang gewesen, dass durch die Tools da viel abgedeckt ist und man da gar nicht so das als Methode so wahrnimmt eigentlich. Ja und vielleicht ist es auch wirklich nur etwas, um zu prüfen, decken meine Testfälle alles ab und weniger ein Testverfahren,
um neue Testfälle zu erzeugen. Also das könnte man ja auch noch mal diskutieren. Aber das sind ganz schöne Hinweise darauf, die wir nutzen können, um auch zu schauen, wo müssen wir vielleicht noch mal den Fokus drauflegen, wenn wir sagen, wir brauchen noch mal mehr an Skills, die das berücksichtigen oder mit einbeziehen und wo sehen wir auch eher, was machen diese Werkzeuge und wir müssen eher schaffen, dass sie so Verbindungen herstellen können. Aber dass sie solche Skills
brauchen, sieht man ja an dem aktuellen Beispiel. Ja, sehr spannend. Geht ihr denn auch, also gerade jetzt mit der kommenden Umfrage, auch auf technologische Neuerungen ein? Also habt ihr da auch Platz dafür? Ich könnte jetzt sagen zum Beispiel KI. Das muss in jeder Folge mittlerweile
irgendwo auftauchen. Also ist sowas mit abgedeckt? Ja, also wir versuchen immer, also wenn wir eine neue Umfrage machen, gehen wir immer durch alle Umfragefragen durch und schauen, welcher hat uns eigentlich keine Erkenntnisse oder keine neueren Erkenntnisse oder es ist irgendwie der Drops, es ist gelutscht irgendwie. Also all diese Fragen zu Outsourcing haben wir eher raut rausgeschmissen, weil wir aus den letzten beiden Umfragen gesehen haben,
na so ein richtiges Thema ist das nicht. Und dann gucken wir, was wir für neue Fragen drin haben und da haben wir für KI, also KI hatten wir als allgemeine Frage immer schon drin. Da können wir so ein bisschen sehen dann, ob sich das noch mal verstärkt hat. Aber wir haben auch noch mal ganz spezielle Fragen dazu, ob beispielsweise KI genutzt wird, um auf den verschiedenen Ebenen die Aufgaben zu unterstützen. Testfallerstellung, also angefangen von Anforderungserzeugung bis
Testfallerstellung und alle möglichen, also sehr ausführlich. Also einerseits wird es schon genutzt, zum anderen sieht man ein Potenzial da drin und zum dritten haben wir eine Frage, setzen wir für diese Aufgaben externe Menschen ein? Und da finde ich es jetzt noch mal spannend zu schauen, ob wir die eher KI nutzen, weniger externe einsetzen. Also dass man das noch mal in Verbindung betrachtet, ob es da Korrelationen gibt. Ich kann es nicht einschätzen, aber es könnte vielleicht sein,
dass das der Fall ist. Aber das hoffe ich dann aus Daten sehen zu können, ob es der Fall ist oder nicht. Und dafür brauchen wir viele. Jetzt ist es ja quasi der vierte Durchlauf. Jetzt, wenn du so auf die Ergebnisse schaust, das sind ja alle auf der Webseite auch abrufbar. Man kann sich das ja dort auch runterladen und reinschauen. Woran siehst du denn den Nutzen jetzt für Tester, für Testmanager, für Unternehmen, sich mit diesen Ergebnissen auch auseinanderzusetzen?
Also ich glaube, einmal kann ich mir die Ergebnisse anschauen und dann noch mal bei mir selber schauen, wo stehe ich eigentlich? Also ich könnte sowas wie so einen Benchmark nehmen. Wir haben in dem ausführlichen Technical Report auch immer wieder so Mehrfachauswertungen drin, wo wir versuchen, Relationen herzustellen. Beispielsweise ist es branchentypisch oder nicht. Wobei ich eigentlich sagen kann, so richtig kann man nicht erkennen, dass es branchentypische große Unterschiede gibt.
Was ich eigentlich erwartet hätte, dass so Bereiche wie Automotive oder der medizinische Bereich noch mal ganz anders agiert als andere Bereiche. Das kann man nicht wirklich erkennen. Das fand ich sehr interessant. Also ich glaube, auch für Unternehmen ist es sehr interessant, dann hinterher reinzuschauen, wo stehe ich eigentlich in diesem Gesamtbefüge. Man kann
auch noch mal reinschauen, gerade mit diesen neueren Fragen. Wenn viele Unternehmen dort ein hohes Potenzial in KI sehen oder viele Teilnehmenden ein hohes Potenzial in KI sehen, dann könnte ich natürlich als Unternehmen sagen, okay, das wäre vielleicht mal interessant, auch selber da rein zu schauen, wenn ich das vorher noch nicht gemacht habe. Oder wenn ich sehe, das Interesse im Schulungsbereich, wo liegt das eigentlich? Auch da kann ich glaube ich als Unternehmen ganz viel
rausfinden. Also ich glaube schon, dass ich auch als Unternehmen viel mit diesen Daten arbeiten kann. Ich werde auch immer wieder darauf angesprochen, dass es schön, dass es diese Umfrage gibt. Insbesondere natürlich auch noch mal aus dem Hochschulkontext, weil wir dann sehr schön darauf aufsetzen können, welche Bedeutung eigentlich Testen zum gesamten Zyklus hat. Kann man sehr schön aufgreifen. Aber auch von Unternehmen. Und wir versuchen ja immer für die
verschiedenen Ebenen auch Auswertungen zu machen. Also wir fangen mal an mit der ersten Management- Auswertung, wo wir so die Highlights zusammenstellen, die uns so auf die Schnelle auffallen. Und dann machen wir meistens so eine etwas kleinere Botschüre, wo so die wichtigsten Punkte drin sind, bis hin, dass es einen ausgiebigen technischen Report gibt, der dann mehrere hundert Seiten hat, den man sicherlich nicht immer bis zum Ende liest. Wo aber alle Rohdaten drin sind,
wo man sich das noch mal richtig reinschauen kann. Wo liegen eigentlich da die Werte? Aber das ist glaube ich, ich glaube, dass diese Zusammenfassungen und diese Kurzbroschüre den größeren Mehrwert hat für die meisten. Ja, das ist ja auch klasse, dass das quasi so for free zur Verfügung gestellt wird auch und da auch immer auf der Webseite abrufbar ist. Also ich habe das selber auch schon, als die letzte Ausgabe rauskam, einigen Freelancern empfohlen.
Die haben ja auch hier in der Podcast-Hörerschaft ja einige auch, die selbstständig unterwegs sind. Da ist natürlich auch mal spannend reinzuschauen, wo steht der Markt gerade? Muss ja dann schauen, wo mache ich vielleicht meine eigenen Weiterbildungen? Wo will ich mich vielleicht spitzer aufstellen oder wie auch immer? Da hilft das natürlich auch mal als Input rein. Genau. Und deswegen ist es uns auch wichtig, dass es erstens öffentlich zugänglich ist.
Wir werden wieder für alle Fragen die quantitative Analyse auch in Grafiken zur Verfügung stellen, damit man es sofort sehen kann. Wir werden mehrfach Auswertungen machen. Die werden dann in den Veröffentlichungen sein und in dem Technik-Report. Aber es ist auch so, wenn jemand zu uns uns anschreibt und sagt, ich hätte jetzt gerne mal eine Auswertung,
dann können wir auch immer mal wieder. Das kommt immer darauf an, wie aufwendig das ist. Aber ich habe auch immer wieder mal branchenspezifische Auswertungen gemacht, für den Finanzbereich oder für den Automotive-Bereich, um mal zu sehen, wie sieht es eigentlich da aus. Das geben die Daten dann ja schon auch her. Und das finde ich das Schöne daran. Uns war es immer wichtig, dass es öffentlich zugänglich ist und deswegen auch mit dem GTB als Verein und die Hochschulen,
für die das total wichtig ist. Und auch nicht mehr ganz explizit ein Unternehmen da mit drin zu haben. Ja, das ist klar. Dann wird es immer schwieriger und auch selbst die Diskussion mit dem GTB ist an der Stelle nicht. Also es wird nicht immer so die Sicht gesehen, dass es Open Access sein müsste. Verstehe. Aber dafür sorgen wir. Ja, das ist auch wichtig. Solange da Hochschulen daran beteiligt sind, wird man das gar nicht anders machen können,
denn wir stecken da unsere Arbeitszeit rein, die mit öffentlichen Mitteln finanziert wird. Und da ist unser Credo immer, was öffentlich finanziert ist, muss auch öffentlich zugänglich sein. Ja, auf jeden Fall. Wir werden ja dann, wenn die neue Umfrage durchgelaufen ist, natürlich auch eine Folge zur Auswertung machen, wo man genau auf die aktuellen Ergebnisse reingeht. Da freue ich mich heute schon drauf. Aber bis dahin brauchen wir mal Daten.
Genau. Da hoffen wir auf alle, dass sie sich die Zeit nehmen, das zu beantworten. Wir haben drei Fragebögen gemacht. Wir haben einen etwas kürzeren Fragebogen für das Management gemacht, in der Annahme, dass sie vielleicht nicht ganz so viel Zeit haben, wo wir einen Teil der Fragen nur drin haben, die insbesondere die organisatorischen Fragen von Projekten betreffen und die äußeren Rahmenbedingungen. Dann haben wir einen Fragebogen für den Operativtätigen, der etwas ausführlicher
ist. So leid es uns tut, wir sind so neugierig. Deswegen dauert es schon eine halbe Stunde, den zu beantworten. Aber ich glaube, dass man auch wirklich gute Ergebnisse kriegt, wenn man bis zum Schluss durchhält. In den vergangenen drei Umfragen hat es ein bisschen immer so geschwankt. Aber es gab um die 1000, die die Umfrage angefangen haben. Und meistens so um die 700, 800, die wirklich bis zum Schluss die Fragen beantwortet haben. Damit haben wir
schon wirklich eine ziemlich gute Grundlage. Auch wenn man nicht ganz sagen kann, dass es repräsentativ ist, weil dann müsste man 1 Prozent der in dem Bereich Tätigen haben. Das ist uns das nicht ganz. Aber ich glaube, damit können wir schon ganz gute Aussagen machen. Und das wollen wir natürlich dieses Jahr toppen. Ja, ich denke auch. Die Podcast-Community wird natürlich ihren Beitrag dazu bringen. Also wenn ihr das jetzt seht und hört, macht diese Umfrage mit. Zu dem Zeitpunkt,
wo wir die Folge ausstrahlen, ist sie auch schon online. Also geht auf software-test-umfrage.de. Wir packen das auch in die Show Notes und überall in Social Media mit rein. Da habt ihr den Link. Also hier nochmal expliziter Aufruf. Bitte alle mitmachen bei dieser Umfrage. Damit wir auch gute Ergebnisse bekommen. Genau. Und auch nicht daran stören, dass wir über viele Kanäle das versuchen, alles zu erreichen. Es ist einfach, wir brauchen viele Antworten, sonst können wir keine Aussagen
machen. Und dann hilft es euch nichts und uns nichts. Genau. Ich finde auch, der Nutzen ist ja da für einen selbst auch. Also da kann man sich auch mal die halbe Stunde mit Zeit nehmen. Ja, Karin, vielen lieben Dank, dass du hier mal den Aufschlag gemacht hast für diese Software-Test- Umfrage. Der ein oder die andere wird es vielleicht noch nicht gekannt haben. Da kann man gleich mal reinschnuppern und dann natürlich auch gleich mitmachen. Und ja, wir werden in ein paar Wochen,
Monaten die Auswertung auch haben. Da bin ich schon auch sehr gespannt, wenn wir die hier vorstellen im Podcast, was denn da so in Highlights wieder rauskommt. Also vom 1. bis 30.09. die Umfrage selber. Dann werden wir sehr schnell eine Management-Zusammenfassung machen. Und die ersten Ergebnisse werden wir auf dem SKU-Tag, auf dem Software-Quality-Day, nee, auf dem QS-Tag. QS-Tag, Anfang November. Auf dem QS-Tag. Und dort werden wir den Fokus
auf KI legen. Ah ja, sehr spannend. Ich bin ja im Podcast auch wieder am QS-Tag dieses Jahr mit dabei. Das heißt, man kann vielleicht schon dort was rausziehen. Sehr schön. Ja, vielen Dank, Karin. Ich drücke die Daumen, dass wir viele Teilnehmenden haben für die Umfrage. Und ich wünsche dir jetzt noch mal schöne Zeit. Wir sehen uns dann spätestens am QS-Tag. Genau. Und ich danke dir für deine Unterstützung. Sehr gerne, sehr gerne. Alles Gute. Bis dann. Tschüss. Ciao. Ciao. [Musik]