Tests auswerten und Tests bewerten

Mit TPT ist eine manuelle oder automatisierte Testauswertung mit einer Vielzahl unterschiedlicher Techniken, die jeweils spezifisch auf bestimmte Problemklassen zugeschnitten sind, möglich. Das Spektrum reicht hierbei von einfachen Werteüberprüfungen von Signalen zu charakteristischen Zeitpunkten über Signalvergleiche mit vorgegebenen Referenzkurven bis hin zu frei konfigurierbaren Auswerteregeln auf Basis einer Skriptsprache.

Alle Prüfergebnisse und eventuelle Abweichungen vom Soll-Verhalten werden protokolliert
und abschließend in einem Testreport übersichtlich zusammengefasst.


Tests manuell bewerten

Manuelles Bewerten von Testergebnissen erfolgt während des Testlaufs im Dashboard oder nach der Testdurchführung anhand der aufgezeichneten Signaldaten im
Test Data Viewer.

Tests online bewerten

Auswertungsregeln, die während der Testausführung in Aktion treten, ermöglichen es, vorab definierte Ergebniserwartungen auf ihr Eintreten oder Nichteintreten zu überprüfen. Komplexere Prüfungen lassen sich durch das Verwenden von konditionalen Verzweigungen im Automaten realisieren, oder durch das Setzen von beispielsweise If-Schritten oder While-Schritten in einer Testschrittliste.

Tests offline bewerten

Testdaten können nach der Testausführung bewertet werden. Es stehen grafische Benutzeroberflächen für standardisierte Überprüfungen wie Back-to-Back-Analysen sowie eine ausgefeilte spezielle Skriptsprache für komplexere Analysen zur Verfügung.

Manuelles Bewerten

Manuelles Bewerten ist die einfachste Form der Testauswertung. TPT unterstützt diese Auswertung mit dem Test Data Viewer. Er erlaubt es, eine einzelne Testausführung detailliert zu untersuchen. Signaldaten und Parameter werden dargestellt. Funktionen wie Zoom, Skalierung der Ansicht, mehrere Fenster, Verwaltung von Anzeigekonfigurationen als auch die Verwendung mehrerer Cursor und Differenzanzeigen sind möglich.

Alternativ besteht die Möglichkeit mit dem TPT Dashboard eigene grafische Benutzeroberflächen zu erstellen, mit denen eine Testbewertung und Interaktion mit dem zu testenden System während der Testdurchführung möglich ist.


TPT Test Data Viewer

Mit dem Test Data Viewer in TPT können Test- und Messdaten verschiedener Formate wie bspw. *.mat, *.mdf, *.dat und *.csv angezeigt werden. Das Browsen durch verschiedene Daten und deren Abhängigkeiten ist sehr einfach und erlaubt Debugging und Testbewertung.

  • Import und Export von Messdateien
  • Darstellung von Curves, Arrays und Maps
  • Synchronisierung unregelmäßiger Stützstellen
    mit der Sample time des Testsignals
  • Interpolationen (linear oder am letzten Wert orientiert)
  • Umwandlung von Skalar-Datentypen
    von dezimal zu binär oder hexadezimal
  • Darstellung von Strings, strukturierten
    und ganzzahligen Signalen
  • Gaussian sample dragging
  • gleichzeitiges Öffnen mehrerer Testfälle
  • zwei Cursorlinien um den Wert
    zwischen zwei Punkten zu bewerten
  • Zustandssequenz-Ansicht
  • Filteroptionen
  • mehrere Ansichten
  • diverse Signaloperationen:
    auswählen, verschieben, zoomen, bearbeiten
Ihnen stehen u.a. mehrere Filteroptionen, mehrere Fenster, Signalverlaufsanzeigeformen, und zwei Cursor im Test Data Viewer zur manuellen Auswertung zur Verfügung.
5 Bilder   

Dashboard

Mit dem TPT-Dashboard können eigene Benutzeroberflächen gestaltet und damit Testabläufe beobachtet sowie mit Tests interagiert werden. Eine Bewertung der Tests ist damit einfach und problemangepasst möglich.

Mit dem Dashboard können Sie ein System über grafische Elemente stimulieren und das Verhalten des Systems während der Ausführung beobachten.

Tests online bewerten

Innerhalb der Testdefinition werden die Eingangssignale des zu testenden Systems Abschnitt für Abschnitt festgelegt. Genauso können Erwartungswerte im Testmodell vorab definiert werden. Es lässt sich so überprüfen, ob ein Wert innerhalb eines bestimmten Intervalls immer oder nur einmalig erreicht wurde. Das Eintreten oder Nichteintreten von logischen oder zeitlichen Konditionen ist ebenfalls überwachbar.


Compare Steps gehören zu den Assessments und werden im zu vergleichenden Testschritt eingefügt.
2 Bilder   

Regelbasierte Testbewertung

Die Testauswertung erfolgt in TPT basierend auf den aufgezeichneten Testdaten nach erfolgter Testdurchführung.
Für typische Standardauswertungen existieren eine Anzahl vordefinierter grafischer Formulare,
die in TPT als Assesslets bezeichnet werden.


Min/Max-Comparison

Das Min/Max-Comparison-Assesslet erlaubt Prüfungen, ob ein Signal immer innerhalb eines vordefinierten Wertebereiches ist oder Werte immer zwischen zwei anderen Signalen liegen.

Signalvergleich

Das Signal-Comparison-Assesslet ermöglicht den Vergleich von einem oder mehreren Signalen unter Berücksichtigung eventueller Toleranzen. Es sind absolute, relative und zeitliche Toleranzen möglich, aber auch Toleranzen in Abhängigkeit von der Signalskalierung.

Äquivalenzklassen-
check

Das Äquivalenzklassencheck-Assesslet überprüft, ob mit den durchgeführten Tests alle zuvor definierten Äquivalenzklassen erreicht wurden und dokumentiert die Abdeckung in Form einer statistischen Übersicht.

Kausale Regeln prüfen

Mit Hilfe des Trigger-Rule-Assesslets können Wenn-Dann Regeln mit zeitlichen und logischen Randbedingungen geprüft werden. Bestimmte Aktivierungs-/Deaktivierungs-
bedingungen lösen dabei die Überprüfungen aus oder beenden diese. Zeitliche Einschränkungen oder Abbruchbedingungen sind möglich.

Sequenzen prüfen

Das Sequence-Check-Assesslet ermöglicht die Prüfung aufeinanderfolgender Phasen anhand von Signaleigenschaften.

Regressionstests

Liegen Testergebnisse aus früheren Tests vor, kann ein Regressionstest oder Back-to-Back-Test erfolgen. Es werden also neue Testergebnisse mit alten, bereits bewerteten Testergebnissen verglichen. Dadurch kann automatisch verifiziert werden, ob sich das System immer noch gleich verhält. Treten Differenzen auf, dokumentiert TPT die entsprechenden Abweichungen und die Fehlerstellen im Testablauf.

TPT unterstützt den Regressionstest mit einem fehlertoleranten Signalvergleich. Dabei kann ein Toleranzband um die Referenzdaten spezifiziert werden. Zeitliche, absolute und relative Toleranzen sind genauso möglich wie Toleranzen in Abhängigkeit der Skalierung der Signale. Diese skalierungsabhängige Toleranz ist insbesondere beim Vergleich von physikalischen Tests als Model-in-the-Loop (MiL) mit Daten aus dem Software-in-the-Loop (SiL) Tests hilfreich.


Mit TPT können Regressionstests durchgeführt werden.

Skript-basierte Testauswertung

In TPT steht für die Testauswertung eine sehr mächtige und flexible Skriptsprache zur Verfügung. Diese sogenannte TPT-Assessment-Sprache ermöglicht die Berechnung von abgeleiteten Signalen aus den aufgezeichneten Testdaten, die Ermittlung von Testphasen, Bewertung von Signalen und ihren Abhängigkeiten, die Dokumentation der Analysen im Report als auch die Verwendung von wiederkehrenden Regeln als Libraries.

Die TPT-Assessment-Sprache basiert auf Python, sodass neben den TPT-spezifischen Funktionen auch alle
Python-Funktionalitäten zur Verfügung stehen. Es ist möglich Testauswertungen testfallspezifisch zu verwenden oder allgemeingültige Regeln zu definieren, die in allen Tests zur Überwachung der Anforderungen berechnet werden.


Signalvorverarbeitung

Um interessante Informationen aus Signalen zu extrahieren ist häufig eine Vorverarbeitung notwendig. In TPT können aus einzelnen oder mehreren Signalen Berechnungen durchgeführt werden. Mathematische Operatoren stehen hierfür genauso zur Verfügung wie Signalverarbeitungsfunktionen wie bspw. Filterfunktionen.

Im Skript-Assesslet können Sie spezielle TPT-Filter-Funktion nutzen. Wie und wofür Sie diese einsetzen, erfahren Sie über die umfangreiche Kontextmenühilfe.

Phasen extrahieren

Testphasen können mit temporalen Musterbeschreibungen in Signalen gesucht werden. In so identifizierten Testphasen lassen sich dann entweder weitere Einschränkungen der Phasen berechnen oder charakteristische Merkmale überprüfen.

Skript-Assesslet mit TPT-Assessmentfunktionen.

Bewertungen

Für die Bewertung stehen in der TPT-Assessmentsprache vielfältige Möglichkeiten zur Verfügung. Unter anderem lassen sich Laufzeiten, Gradienten, Sprünge in Signalen, Differenzen und zeitliche Abfolgen überwachen.

Ihnen stehen im Skript-Assesslet mehrere spezielle TPT-Funktionen zur Auswertung zur Verfügung. Wie und wozu Sie diese einsetzen können, erfahren Sie in der Kontextmenühilfe.

Reporting

Der TPT-Report fasst alle Testergebnisse in übersichtlicher Form zusammen. Er ist eine umfangreiche und individuell anpassbare Zusammenfassung der Test- und Bewertungsdetails mit Tabellen und interaktiven Signalgrafiken.
Er kann als HTML oder PDF generiert werden.

Der Report enthält neben konfigurierbaren Standardbausteinen auch
dynamisch durch die Testbewertung ermittelte Zusatzinformationen.


Copyright © www.piketec.com    All rights reserved

Folgen Sie uns