Test Report / Test Dokumentation.
Tests zu dokumentieren ist sinnvoll. Normen wie IEEE829 geben Hinweise darauf, was dokumentiert werden sollte. Folgende empfohlene Dokumentationen werden von TPT automatisch erzeugt:
- Level Test Design (LTD): Beschreibt die Testfälle der Teststufe sowie das erwartete Verhalten und Prüfkriterien.
- Level Test Case (LTC): Beschreibt die Testimplementierung und Testdaten aus dem LTD.
- Level Test Procedure (LTPr): Beschreibt wie jeder Testfall inklusive der Initialisierung und Vorbedingungen abläuft.
- Level Test Log (LTL): Die Prüfprotokolle dokumentieren wer wann wo was in welcher Reihenfolge ausgeführt hat und wie das Prüfergebnis ist.
- Anomaly Report (AR): Der Report der Abweichungen von den Sollergebnissen dokumentiert die Auffälligkeiten beim Test inklusive unerwarteter Ergebnisse und Testabbrüche. Dieser Report soll möglichst dabei helfen den Grund für die Abweichung zu identifizieren.
- Level Interim Test Status Report (LITSR): Der Zwischenbericht fasst optional Zwischenstände der Testergebnisse zusammen um nicht auf den Abschlussbericht warten zu müssen.
- Level Test Report (LTR): Der LTR fasst final die Testergebnisse der Teststufe zusammen und enthält Auswertungen.
Sie müssen lediglich die Teststrategiedokumente und teststufenübergreifende Dokumentation wie den Master Test Plan (MTP), Level Test Plan (LTP) und den Master Test Report (MTR) außerhalb der Testautomatisierung in sogenannten Testmanagementwerkzeugen erzeugen. Hierfür stellt Ihnen TPT Schnittstellen bereit.
TPT Reports können als HTML, PDF oder XML erzeugt werden.
Overview Report.
Der TPT Übersichtsreport beinhaltet eine Übersicht aller Testergebnisse einer Testausführung. Für jeden Testfall wird kurz dokumentiert, ob der Test erfolgreich war, fehlgeschlagen ist, es Testdurchführungsprobleme gab oder das Ergebnis unklar ist.
Darüber hinaus werden wichtige Metainformationen bspw. zum Tester, der Testumgebung, der Zeit sowie Statistiken zu Testergebnissen, Anforderungsabdeckung, Test Assessments und Code Coverage gegeben.
Test Case Report.
Für jeden Testfall wird individuell ein Report erstellt. Dieser beinhaltet neben den Meta-Informationen den Testablauf inklusive Parametern, Konstanten und Signalverläufen, die Testspezifikation, sowie detaillierte Informationen zu den Testbewertungen der TPT-Assessments. Die Informationen sind grafisch dargestellt. Der Report kann vollkommen frei konfiguriert werden. Legen Sie selbst fest, welche Informationen Sie darstellen und wie die Darstellung geschieht. Mit einem Klick auf die Signaldaten im Report können diese im Signal Viewer von TPT für die manuelle Auswertung geöffnet werden.
Neben Informationen zur Ausführung wie Testfallname, Ausführungsumgebung oder Ausführungsdatum, gibt es Auflistungen der verlinkten Anforderungen sowie das jeweilige anforderungsspezifische Testergebnis.
Requirements Report.
Im Anforderungsreport kann die Abdeckungsmatrix der Anforderungen leicht und übersichtlich nachvollzogen werden. Neben einer Statistik über die Abdeckung gibt es zu jeder einzelnen Anforderung ein detailliertes Testergebnis. Sind Anforderungen mit in TPT erstellten Bewertungsregeln (sog. Assesslets) verlinkt, gibt es Informationen darüber wie oft und wie genau die jeweilige Anforderung bewertet wurde.
Variables Report.
Die Statistik über die Bewertungsregeln (Assesslets) und die in TPT erzeugten Assessmentvariablen, die final zur Testbewertung beigetragen, finden Sie im Variablenreport. Hier kann genau nachvollzogen werden, welche Prüfung wie oft mit welchem Ergebnis bewertet wurde.
Global Assessment Report
Im Global Assessment Report werden die Bewertungsregeln und die Ergebnisse des globalen Assessments dargestellt. Das globale Assessment dient dazu über alle Testfälle eines Testlaufs hinweg, Regelmäßigkeiten oder Abweichungen zu ermitteln.
Testdokumentation in TPT
Testfälle in TPT können selbstverständlich dokumentiert werden. Dafür können für jeden Testfall Testfallattribute angelegt werden, in denen Testfallspezifikation, Vorbedingungen, Akzeptanzkriterien aber auch Variantenzugehörigkeiten, Links zu anderen Dokumenten uvm. hinterlegt werden.
Die TPT-Testdokumentation kann unkompliziert mit Testmanagementwerkzeugen oder Excel ausgetauscht werden.
Jeder einzelne Testschritt und jedes Assessment kann kommentiert werden. Die Darstellung der Dokumentation im Report kann abhängig vom Testergebnis erfolgen.