Testbewertung / Testauswertung in TPT.
Als guter Tester stellen Sie sicher, dass die Tests korrekt ausgeführt werden. Sie haben zudem bereits beim Erstellen der Testfälle Erwartungen an das Testergebnis. TPT unterstützt Sie dabei, diese Erwartungen so zu formulieren, dass eine automatische Bewertung durch TPT nach der Testausführung erfolgen kann.
Die automatische Testbewertung durch TPT ist fehlerfrei wiederholbar, was Ihren Testaufwand erheblich reduziert.
Mit TPT können Sie:
- Erwartungswerte direkt in den Testfällen spezifizieren
- Erwartungswerte testfallübergreifend festlegen
- Bedingte Bewertungen in Testphasen einfach spezifizieren
- verschiedene Testausführungen miteinander vergleichen (Regressionstest und Back-to-Back-Test)
Natürlich können Sie mit TPT Tests auch manuell bewerten. Dafür stehen Ihnen der Signal Viewer und das frei konfigurierbare Dashboard zur Verfügung.
Tests manuell bewerten.
Für die manuelle Auswertung stehen Ihnen zwei grafische Werkzeuge in TPT zur Verfügung: der Signal Viewer und das Dashboard.
Mit dem Signal Viewer können Sie eine einzelne Testausführung detailliert grafisch untersuchen. Funktionen wie Zoom, Skalierung der Ansicht, Multi-Windowing, Verwaltung von Anzeigekonfigurationen als auch die Verwendung mehrerer Cursor und Differenzanzeigen sind möglich.
Mit dem Dashboard von PikeTec können Sie einfach grafische Benutzeroberflächen erstellen, mit denen Sie mit dem zu testenden System interagieren können und zeitnah optische Rückmeldungen erhalten.
TPT Signal Viewer
Mit dem Signal Viewer in TPT können Test- und Messdaten verschiedener Formate wie bspw. *.mat, *.mdf, *.dat und *.csv angezeigt werden. Das Browsen durch verschiedene Daten und deren Abhängigkeiten ist sehr einfach und erlaubt Debugging und Testbewertung.
TPT Dashboard
Mit dem Dashboard können Sie eigene Benutzeroberflächen gestalten und so mit dem Test interagieren und das Testverhalten zeitnah grafisch verfolgen. Eine Bewertung der Tests ist mit dem Dashboard einfach und problemangepasst möglich.
Erwartungswerte in den Testfällen.
Die einfachste Form der Auswertung ist die Vorgabe von Erwartungswerten in den Testfällen. Dabei wird direkt neben der Teststimulation auch gleich angegeben, welche Werte als Systemausgang erwartet werden. In TPT ist das sehr einfach inklusive Toleranzangaben möglich.
Regressionstests und Back-to-Back-Tests.
Mit TPT können Sie leicht die Testergebnisse aus mehreren Testausführungen vergleichen.
Das heißt, wenn Sie nach dem Testlauf Änderungen an der zu testenden Software vornehmen, führen Sie dieselben Tests erneut aus und TPT vergleicht für Sie anschließend die Ergebnisse beider Testläufe (Regressionstest).
Wenn Sie unterschiedliche Softwarekomponenten entwickeln, die sich identisch verhalten sollen, verwenden Sie einfach dasselbe Testsetting für alle Komponenten und TPT vergleicht für Sie die Testergebnisse (Back-to-Back-Test) automatisch.
Gleiches gilt, wenn Sie eine Softwarekomponente als Model testen, anschließend in Programmcode überführen, als kompilierten Code auf einem Prozessor einsetzen oder in einer Hardware-Umgebung einsetzen. Sie verwenden das gleiche Testsetting für den MiL-Test, den SiL-Test, den PiL-Test und den HiL-Test und TPT vergleicht für Sie die Testergebnisse der unterschiedlichen Ausführungen (Back-to-Back-Test).
Tests regelbasiert mit Assesslets bewerten.
TPT verwendet sogenannte Assesslets für die Testbewertung. Assesslets sind vordefinierte grafische Formulare, mit denen Sie im Nu Ihre Erwartungen an das Verhalten von Signalen spezifizieren können.
Wenn Sie eine Bewertung nur dann vornehmen möchten, wenn bspw. das Signal einen bestimmten Wert überschreitet, können Sie das als Bedingung formulieren. Sie können außerdem festlegen, dass die Auswertung nur dann stattfindet, wenn eine bestimmte Zustandsvariante verwendet wird oder ein bestimmter Testschritt ausgeführt wird.
Assesslets können unabhängig vom Testfall spezifiziert werden oder mit Tests oder Testphasen verknüpft werden. Wenn alle Assesslets positiv getestet sind, wird auch der Testfall grün.
Wertebereiche prüfen
Das Min/Max Comparison Assesslet erlaubt Prüfungen, ob ein Signal immer innerhalb eines vordefinierten Wertebereiches ist oder Werte immer zwischen zwei anderen Signalen liegen.
Signale vergleichen
Das Signal Comparison-Assesslet ermöglicht den Vergleich von einem oder mehreren Signalen unter Berücksichtigung eventueller Toleranzen. Es sind absolute, relative und zeitliche Toleranzen möglich, aber auch Toleranzen in Abhängigkeit von der Signalskalierung.
Äquivalenzklassen prüfen
Das Equivalence Classes Assesslet überprüft, ob mit den durchgeführten Tests alle zuvor definierten Äquivalenzklassen erreicht wurden und dokumentiert die Abdeckung in Form einer statistischen Übersicht.
Kausale Regeln prüfen
Mit Hilfe des Trigger Rule Assesslets können Wenn-Dann Regeln mit zeitlichen und logischen Randbedingungen geprüft werden. Bestimmte Aktivierungs-/Deaktivierungs-Bedingungen lösen dabei die Überprüfungen aus oder beenden diese. Zeitliche Einschränkungen oder Abbruchbedingungen sind möglich.
Sequenzen prüfen
Das Sequence Check Assesslet ermöglicht die Prüfung aufeinanderfolgender Phasen anhand von Signaleigenschaften.
Bedingungsbaum (Condition Tree)
Das Condition Tree Assesslet ermöglicht die Überprüfung von Regeln und Bedingungen innerhalb eines Zeitkontexted und basiert auf einer Baumstruktur.
Sie können dieses Assesslet verwenden für:
- Überprüfung von Signalgrenzen (Min und Max)
- Signalvergleiche
- Signaldaten durch Berechnung definieren
- Intervalle und Bedingungen anlegen
Skriptbasierte Testbewertung.
Für Liebhaber von Skriptsprachen haben wir Python erweitert, damit jegliche Testbewertung möglich wird.
Diese sogenannte TPT-Assessment-Sprache ermöglicht es Ihnen,
- zusätzliche Variablen zu definieren, die für Zwischenberechnungen verwendet werden können
- Bewertungen in bestimmen Zeitabschnitten auszuführen
- Signale und ihre Abhängigkeiten zu analysieren
- den Report zu steuern
Das Skript erstellen Sie im sogenannten Skript-Assesslet, das Sie anschließend mit Testfällen und Anforderungen verknüpfen.
Sofern gewünscht, können die Ergebnisse der skriptbasierten Analysen in dem Testreport abgebildet werden.
Wollen Sie skriptbasierte Analysen in unterschiedlichen TPT-Projekten wiederverwenden, können Sie sogenannte Assessment Libraries erstellen.
Die TPT-Assessment-Sprache basiert auf Python, sodass neben den TPT-spezifischen Funktionen auch alle Python-Funktionalitäten zur Verfügung stehen.
Signalvorverarbeitung
Um interessante Informationen aus Signalen zu extrahieren ist häufig eine Vorverarbeitung notwendig. In TPT können aus einzelnen oder mehreren Signalen Berechnungen durchgeführt werden. Mathematische Operatoren stehen hierfür genauso zur Verfügung wie Signalverarbeitungsfunktionen wie bspw. Filterfunktionen.
Interessante Phasen extrahieren
Testphasen können mit temporalen Musterbeschreibungen in Signalen gesucht werden. In so identifizierten Testphasen lassen sich dann entweder weitere Einschränkungen der Phasen berechnen oder charakteristische Merkmale überprüfen.
Auswertungsfunktionen
Für die Auswertung stehen in der TPT-Assessmentsprache unzählige Funktionen zur Verfügung. Unter anderem lassen sich Laufzeiten, Gradienten, Sprünge in Signalen, Differenzen und zeitliche Abfolgen prüfen.
Anforderungen bewerten.
Testfälle dienen zur Überprüfung, ob Anforderungen erfüllt werden oder nicht. Entsprechend sollte jeder Testfall mit mindestens einer Anforderung verlinkt sein. Mit TPT behalten Sie den Überblick, welche Testfälle mit welchen Anforderungen verknüpft sind.
Zusätzlich können Sie in TPT auch Anforderungen mit Assesslets verknüpfen. Wird dann der Testfall positiv bewertet, wird auch die verknüpfte Anforderung als bestanden markiert. Schlägt der Testfall gemäß den Bewertungsregeln fehl, wird auch die verknüpfte Anforderung als fehlgeschlagen markiert.
Der Vorteil liegt auf der Hand: Sie sehen auf einen Blick welche Anforderungen nicht erfüllt worden sind, welche fehlschlugen und welche gar nicht erst getestet wurden.
Testfallübergreifende Bewertungen.
Sie wollen ohne großen Aufwand wissen, ob beispielsweise der Mittelwert eines Signals für alle Testfälle einer Testausführung zwischen 20 und 30 liegt oder ein bestimmter Fehler auftrat? Dann ist das „Globale Assessment“ in TPT genau das Richtige für Sie.
Mit dem „Globalen Assessment“ in TPT können Sie unkompliziert und schnell testfallübergreifende Berechnungen und Bewertungen vornehmen.
Für die Spezifikation der häufigsten Berechnungen, bspw. nach dem Einhalten des Mittelwertes oder der Summe aller Werte, stehen Ihnen Formularfelder zur Verfügung.
Weitergehende testfallübergreifende Berechnungen können Sie mit einem eigenen globalen Assessmentskript vornehmen. Das Skript erlaubt Ihnen auch die Darstellung der Bewertungen in dem Testreport anzupassen.
Die Ergebnisse der globalen Auswertungen werden im Report gesondert aufgeführt.
