Entwicklung - Testung - Validierung

Die Ideen, die die Prüfung im zweiten Gate bestanden haben, werden in dieser Phase weiterentwickelt, getestet und validiert. Nach dem 
„Bauen-Messen-Lernen“-Prinzip von Eric Ries wird das Konzept kontinuierlich angepasst, bis es zur tatsächlichen Implementierung bereit ist.


Ergebnisse dieser vierten Arbeitsphase sind

  • Bewertungsbogen für die getestete, validierte Lösung
  • Gate 3 Kriterien
  • Ressourcenplanung für die Arbeitsphase V Implementierung
  • Kommunikationsplanung für die Arbeitsphase Arbeitsphase V Implementierung

" "

Bewertungsbogen im vediso Innovationsframework

Die Ergebnisse aus der vierten Arbeitsphase Entwicklung I Testung I Validierung werden anhand des Bewertungsbogens eingeordnet, welcher als Entscheidungsgrundlage in Gate III dient.

Der Bewertungsbogen zeigt, wie gut eine Handlungsoption – in diesem Fall die Lösung – ist. Mit Hilfe eines Bewertungsbogens werden Ergebnisse messbar erfasst, sodass Entscheidungen klar und nachvollziehbar nach zuvor festgelegten Kriterien getroffen werden können. 

Bewertungsbogen

Zu Beginn der vierten Arbeitsphase wird der Bewertungsbogen definiert. Das bedeutet, das man die Kriterien zur Bewertung der Test- und Validierungsergebnisse für die jeweilige Innovationslösung festlegt. Kriterien können sich z.B. aus Zielen, Rahmenbedingungen oder Gate-Kriterien ableiten. Hierbei ist es hilfreich, dass die Testindikatoren zu den einzelnen Kriterien messbar sind bzw. gemacht werden. Dies kann entweder durch eine quantitative Messung (z.B. Zeitersparnis, Leistungssteigerung, Kosten, …) oder durch eine qualitative Einschätzung und Einordnung (z.B. Mitarbeiterzufriedenheit,  Kompetenzerhöhung, …) gemacht werden.


Nachdem Kriterien festgelegt und ggf. gewichtet wurden, sollten auch im Voraus die (Mindest-)Zielwerte festgelegt werden. 


Beim Entwickeln, Testen und Validieren kann der Bewertungsbogen einerseits Orientierung geben, welche Werte relevant sind und erprobt werden müssen. Andererseits kann er aufzeigen, wo noch Potenzial zur Verbesserung ist, wenn z.B. ein Ergebnis unterhalb dem Mindest-Zielwert liegt. 


Exemplarischer Bewertungsbogen in Form einer Tabelle mit aufgelisteten Kriterien, einer 5 stufigen Likert Bewertungsskala und einer Spalte, worin die Bewertungsergebnisse erläutert werden können. Das Ergebnis wird am Ende der Tabelle zusammengefasst dargelegt.


Am Ende der vierten Arbeitsphase werden die Ergebnisse anhand des Bewertungsbogens bewertet. Hierbei ist es wichtig, dass jede Bewertung eines Kriteriums auch erläutert wird, sodass die Bewertung und die darauf folgende Entscheidung, ob eine Lösung das Gate III passiert und implementiert wird, transparent und nachvollziehbar ist. 


Die Kriterien im exemplarischen Bewertungsbogen sind lediglich als Beispiele zu verstehen. Da die Kriterien und Zielwerte verständlicherweise je nach Problem, Innovationsart, Rahmenbedingungen und Anforderungen variieren, ist es wichtig, dass für jede Idee, jede Lösung oder jedes Vorhaben die Kriterien individuell angepasst werden und dem Unternehmen entsprechende Zielwerte festgelegt werden.

Vorlage Bewertungsbogen

Methodenempfehlungen für Entwicklung I Testung I Validierung

Erläuterung

Ist eine Lösungsidee ausgewählt, entwickelt, testet und validiert man sie als Prototyp nach dem Bauen-Messen-Lernen-Prinzip. Das Prinzip wurde von Eric Ries entwickelt und ist eine Lean-Startup Methode.

Beim Bauen entsteht ein Prototyp, etwa als Mockup, 3D-Modell oder Testseite, um die Idee greifbar und testbar zu machen. Um Ressourcen zu schonen, entwickelt man für das Messen nur das "Minimum Viable Product" (MVP). Das MVP ist die kleinste funktionsfähige Produktversion, die Feedback ermöglicht. Auf Basis des Nutzerfeedbacks verbessert man die Idee kontinuierlich in Iterationsschleifen. Ziel ist es, den Bauen-Messen-Lernen-Zyklus schnell zu durchlaufen, um mit minimalem Aufwand maximal zu lernen.

Einschätzung Dauer der Methode: lang, Aufwand: hoch, Schwierigkeitsgrad: mittel.

Schritte

  1. Geeignete Prototyp-Form für die ausgewählte Idee festlegen.
  2. Testplanung mit Kriterien, Indikatoren, SMART-Zielen und Messung definieren.
  3. MVP entwickeln und den Nutzenden zum Testen geben.
  4. Tests durchführen anhand der Testplanung und Feedback der Nutzenden einholen.
  5. Feedback auswerten und aus Ergebnissen lernen, d.h. in die nächste Iterationsschleife mit einbringen, um die Lösung stetig weiterzuentwickeln.
  6. Iterationsschleifen aus Bauen-Messen-Lernen wiederholen, bis die Lösung bestmöglich validiert und "marktreif" ist.

Beispiel

Beschreibung eines Bauen-Messen-Lernen Zyklus für die Idee einer trägerübergreifenden, digitalen Beratungsplattform für die kommunale Suchtberatung.

vgl. 21, 22, 23

Erläuterung

Für das Testen & Validieren einer Prozess- oder Dienstleistungsinnovation kann ein Prozessmodell als Prototyp dienen. Mit einem Prozessmodell können Arbeitsabläufe geplant, koordiniert und visuell dargestellt werden. Sie helfen, Prozesse effizient(er) zu gestalten, einen Einblick und Überblick zu bieten sowie Verantwortlichkeiten und Zusammenhänge zu kommunizieren.

vgl. 2 

Anhand eines Prozessmodels wird der Prozess einer Innovation in Tests, z.B. mit einer Pilot-Testgruppe (bestehend aus Testpersonen / Stakeholder der Zielgruppe), durchlaufen. Testergebnisse können z.B. mit Test-Grids erfasst werden und der Prozess auf Basis des Feedbacks in Itereationsschleifen weiterentwickelt, getestet und validiert werden.

Einschätzung Dauer der Methode: mittel, Aufwand: mittel, Schwierigkeitsgrad: einfach..

Schritte

  1. Prozess identifizieren und benennen.
  2. Rahmen setzen: Festgelegen, wo / wann der Prozess beginnt und endet und mit welchem Detailgrad der Prozess im Prozessmodell abgebildet wird.
  3. Einzelne Schritte des Prozesses sammeln und sequenzieren.
  4. Prozessmodell gestalten, indem jeder Schritt als ein einzelnes Element mit den gängigen Symbolen (vgl. Erläuterung der Symbole in einem Prozessmodell) und die Prozessabfolge mit Pfeilen verbunden wird.
  5. Verantwortlichkeiten für die einzelnen Prozessschritte festlegen.
  6. Prozessmodell mit Betroffenen Stakeholdern durchgehen: Ist der Prozess für alle verständlich? Sind alle Verantwortlichkeiten klar? Sind alle einverstanden? Gibt es Optimierungspunkte (z.B. überflüssige Schritte, kompliziertes Vorgehen)?
  7. Pilot-Testgruppe einladen, den Prozess anhand des Prozessmodells zu durchlaufen und Feedback mit einem Test-Grid aufnehmen.
  8. Feedback analysieren und notwendige Änderungen im Prozessmodell umsetzen. Durch iterative Zyklen den Innovationsprozess verbessern und bestätigen.

Beispiel Prozessmodell

Grafische Darstellung eines Prozesses am Beispiel Einlösewege E-Rezept.


Beispiel Test-Grid

Ausgefülltes Test-Grid mit Testergebnissen zu: Das war positiv. Das war negativ. Neue Impulse und neue Herausforderungen.

Vorlage Test-Grid

Erläuterung

Die kritische Hypothesen-Methode eignet sich, um Geschäftsmodellinnovationen zu testen. Mit dieser Methode werden die zentralen Annahmen eines Geschäftsmodells identifiziert, priorisiert und auf den Prüfstand gestellt. So lässt sich das Modell optimieren, bevor es auf den Markt kommt, und Risiken werden reduziert.

Diese Methode funktioniert gut in einem Workshop im Team zu Beginn der Phase Entwicklung I Testung I Validierung und erfordert mittleren Aufwand.

vgl. 3

Einschätzung Dauer der Methode: mittel, Aufwand: mittel, Schwierigkeitsgrad: mittel.

Schritte

  1. Überblick über die Geschäftsmodellidee z.B. mittels einem ausgearbeiten vediso Canvas oder einer Value Proposition Canvas verschaffen, so dass alle Involvierten ein gemeinsames Verständnis des Geschäftsmodells haben.
  2. Identifizieren der Hypothesen, auf die sich das Geschäftsmodell stützen. Jede Hypothese beginnend mit "Wir glauben, dass..." formulieren und separat (z.B. auf einen Post-it) notieren.
  3. Bewertung der Hypothesen nach Relevanz (Auswirkung) und Unsicherheit hinsichtlich der Annahme und Einordnung in die Auswirkungs-Unsicherheitsmatrix.
  4. Die Hypothesen mit hohen Relevanzen und Unsicherheiten sind die am dringendsten zu prüfenden Hypothesen, für welche eine Hypothesentestung zu erstellen ist und Tests durchgeführt werden. Es ist hilfreich, die Hypothesen zu priorisieren und sie nacheinander in einzelnen Tests zu validieren. Dabei ist eine offene Haltung wichtig, um die zu prüfenden Hypothesen zu widerlegen. So können Unsicherheiten minimiert und die Geschäftsmodellidee wettbewerbsfähig und erfolgreich gemacht werden.
  5. Die Testergebnisse nutzen, um das Geschäftsmodell in Iterationsschleifen zu optimieren und validieren.
vgl. 4 

Beispiel Auswirkungs-Unsicherheits-Matrix

Ausgefüllte Auswirkungs-Unsicherheits-Matrix mit platzierten Hypothesen zur Beispiel Geschäftsmodellinnovation CAP-Der Lebensmittelpunkt (Supermarkt). Das Matrix ist aufgegliedert in 9 Felder. An der X-Achse rangiert der Unsichterheitsgrad und an der Y-Achse der Auswirkungsgrad von niedrig über mittel zu hoch.

vgl. 28 Hypothesen dieses Beispiels sind reine Annahmen des vediso auf Grundlage dieser Quelle.


Beispiel Hypothesentestung

Ausgefüllte Hypothesentestung. Links dargestellt ist die zu testende Hypothese. In der Mitte sind Daten zum Test wie Testformat, Testgruppe, Metrik und Zielwert aufgelistet. Rechts ist das Ergebnis dargestellt.

Vorlagen Auswirkungs-Unsicherheitsmatrix und Hypothesentestung