Liste von Modultest-Software
Modultestsoftware (meist aber "Test-Frameworks", englisch Unit test frameworks) bezeichnet Software-Frameworks zur Durchführung von Modultests (oft auch Komponententests genannt). Sie dienen dem Nachweis von Fehlern in einzelnen Komponenten (Modulen) einer Software, beispielsweise einzelnen Klassen. Als Voraussetzung für Refactoring kommt ihm besondere Bedeutung zu. Nach jeder Änderung sollte durch Ablauf aller Testfälle nach Programmfehlern gesucht werden.
Modultestsoftware bzw. Test-Frameworks gibt es mittlerweile für fast jede Programmiersprache. Oft haben die Namen dieser Frameworks die Form xyzUnit (z. B. JUnit für Java, siehe unten). Testrahmen dienen dazu, den Quelltext besser und automatisch testen zu können. Damit kann nach Modifikationen am Quelltext relativ schnell festgestellt werden, ob die vorher erstellten Tests immer noch dieselben Ergebnisse haben.
Liste
ABAP
- ABAP Unit ist die Implementierung des Frameworks für ABAP und steht ab SAP NetWeaver Release 2004 zur Verfügung.
- TEST.easy testet direkt ABAP und ABAP-OO sowie Datenbank und Filesystem ohne Programmierung, ist selbst in ABAP implementiert und steht ab SAP NetWeaver 7.02 SP13 zur Verfügung[1]
Ada
Nach Art, Umfang und Lizenz unterscheidbare Testwerkzeuge für Ada schließen ein:
- Ahven[2], eine portable Bücherei für einfache Tests, im Verfahren an JUnit-Tests angelehnt.
- AUnit[3], eine auf Ada zugeschnittene Variante von JUnit aus dem GNAT-Umfeld.
- VectorCAST/Ada[4], ein Werkzeug für das automatisierte Unit- und Integration-Testing.
ASCET
Time Partition Testing (TPT): Modellbasierter Modultest des physikalischen Modells als auch des Implementierungsmodells, ebenfalls für ASCET-DEVELOPER.
C
Für die Programmiersprache C gibt es verschiedene Implementationen, die sich hauptsächlich in ihrem Funktionsumfang, Lizenzen und Einsatzgebieten unterscheiden:
- BTC EmbeddedTester:[5] Kommerzielles Werkzeug für Modultests inklusiver automatischer Testfall-Generierung. Zertifiziert für ISO 26262, IEC 61508 und verwandte Standards.
- Cantata++: Kommerzielles Werkzeug für Modultests, Modulintegrationstests und Überdeckungstests, auch für Embedded Software.
- cfix:[6] Spezialisiert für Win32 und Windows NT kernel mode-Entwicklung. Lizenziert unter der GNU Lesser General Public License (LGPL). Basierend auf cfix existiert mit Visual Assert[7] ein Add-In, welches Visual Studio um Unit Testing-Funktionalität erweitert.
- Check:[8] Einfach zu nutzendes Framework mit Ausführung in separatem Adressraum (übersteht Speicherzugriffsverletzungen) und IDE-kompatiblen Ausgaben.
- CUnit:[9] Umfangreiche Implementation. Lizenziert unter der GNU Lesser General Public License (LGPL). Das Projekt wird unter SourceForge gehostet.
- Embedded Unit: Spezielles Framework für Embedded Systems. Lizenziert unter der MIT-Lizenz. Das Projekt wird ebenfalls unter SourceForge gehostet.
- MinUnit: Demonstration eines minimalistischen Frameworks, Public Domain.
- Sput:[10] Simples, portables C Unit Testing Framework, einzelne Header-Datei, 2-Clause BSD-Lizenz.
- TESSY: Kommerzielles Werkzeug für Modultests, Modulintegrationstests und Überdeckungstests, speziell für Embedded Software.
- Testwell ctc++ Test Coverage Analyser für Modul-/Unit-Tests für alle embedded Systeme.
- Time Partition Testing (TPT): Kommerzielles Werkzeug von PikeTec für modellbasiertes Testen eingebetteter Steuerungs- und Regelungssysteme. TPT unterstützt für zu testenden C-Code die automatische Testrahmengenerierung inklusive einer automatischen Schnittstellenanalyse sowie die automatische Testdurchführung, Auswertung und Protokollierung.
- uCUnit: Spezielles Framework für kleine Mikrocontrollersysteme. Lizenziert unter der Common Public License (CPL) v1.0.
- VectorCAST/C++: Kommerzielles Werkzeug für Modultests, Modulintegrationstests und Überdeckungstests, vor Allem für sicherheits- und missionskritische Embedded Software.
C++
- Boost Test Library
- Cantata: Kommerzielles Werkzeug für Modultests, Modulintegrationstests und Überdeckungstests von C und C++ Code.
- Casmine vom MySQL Workbench Team entwickeltes C++17 Test Framework mit BDD Funktionalität - modelliert nach dem Javascript Test Framework Jasmine, GPL Lizenz, typsicher und auto-registrierend, erweiterbar.
- cfix:[6] Spezialisiert für Win32 und Windows NT kernel mode-Entwicklung. Lizenziert unter der GNU Lesser General Public License (LGPL). Basierend auf cfix existiert mit Visual Assert[7] ein Add-In, welches Visual Studio um Unit Testing-Funktionalität erweitert.
- CppUnit ist die Portierung von JUnit auf C++. Ursprünglich wurde es von Michael Feathers geschrieben, ist jetzt aber ein offenes Projekt unter SourceForge. Da er allerdings den Eindruck hatte, dass CppUnit mittlerweile zu kompliziert zu installieren war, entschied sich Feathers, die abgespeckte Variante CppUnitLite[11] zu schreiben.
- CUTE:[12] ein simples, erweiterbares C++ Unit Testing Framework mit einem an JUnit angelehnten Plugin für Eclipse CDT.
- CxxTest, CppTest: Beides offene Projekte auf SourceForge.
- Google Test von Google entwickeltes C++-Test-Framework.
- libunittest: Eine portable Testbibliothek basierend auf C++11.[13]
- Qt unterstützt Modultests (QTestLib).
- TESSY: Professionelles Werkzeug für Modul-/Unit-Tests, speziell von Embedded Software.
- Testwell CTA++ C++ Test Aider
- Testwell ctc++ Test Coverage Analyser für Modul-/Unit-Tests (C, C++, Java, C#).
- Time Partition Testing (TPT): Kommerzielles Werkzeug von PikeTec für modellbasiertes Testen eingebetteter Steuerungs- und Regelungssysteme. TPT unterstützt für zu testenden C-Code die automatische Testrahmengenerierung inklusive einer automatischen Schnittstellenanalyse sowie die automatische Testdurchführung, Auswertung und Protokollierung.
- VectorCAST/C++: Kommerzielles Werkzeug für Modultests, Modulintegrationstests und Überdeckungstests, vor Allem für sicherheits- und missionskritische Embedded Software.
COBOL
- CobolUnit ist ein zu XUnit kompatibles Framework.
- savvytest[14] ist ein auf Eclipse basierendes (kommerzielles) Testtool zur Erfassung und Durchführung von Komponententests, das vorwiegend zum Testen von Mainframe-Komponenten (insbesondere COBOL unter z/OS) konzipiert wurde. Zudem wird die rein technische Schnittstelle durch zusätzliche Spezifikationen in einer fachlichen Sicht dargestellt und mit Testdaten versorgt. Die Tests an sich werden sprach- und plattformunabhängig gespeichert.
Dart
Unittest ist bei Dart in der Bibliothek unittest
verfügbar[15].
Delphi
DUnit ist eine Portierung von JUnit für Embarcadero Delphi. In der Version „Delphi 2005“ wurde es von Borland (später CodeGear, heute Embarcadero Technologies) als fester Bestandteil in die Entwicklungsumgebung aufgenommen.
Java
- JUnit wurde für die Programmiersprache Java von Erich Gamma und Kent Beck geschrieben. (weitere Werkzeuge für Modultests: TestNG, HttpUnit, Cactus, Spock, …)
- Testwell ctc++ Test Coverage Analyser für Modul-/Unit-Tests (C, C++, Java, C#)
JavaScript
JSUnit[16] wurde von Edward Hieatt nach dem Vorbild JUnit gebaut und bietet manuelle wie auch komplett integrierte Tests für JavaScript mit browser- und betriebssystemübergreifenden Testservern. Die Entwickler von JSUnit empfehlen allerdings mittlerweile die Verwendung von Jasmine. Weitere Testframeworks für JavaScript sind YUI[17], mocha[18] oder QUnit.
Lingo (Macromedia Director)
LingoUnit ist ein Framework für die interpretierte Skriptsprache Lingo in Macromedias Autorensystem Director, welches ebenfalls unter SourceForge geführt wird.
.NET
- NUnit ursprünglich eine 1:1-Portierung von JUnit auf das .Net-Framework, insbesondere für C# und Visual Basic .NET. Wurde mittlerweile mit spezifischen .NET Features erweitert neu geschrieben und unterstützt alle .NET-Sprachen.
- xUnit.net: Wurde vom Erfinder von NUnit geschrieben und ist die neueste Technologie zum Testen von .NET-Sprachen.
- MSTest: Microsoft bietet das in Visual Studio integrierte Unit-Test-Framework MSTest an.
- PEX: Microsoft bietet das in Visual Studio integrierte Unit-Test-Framework PEX an. Dies dient zur automatischen Generierung von Unit-Tests und den dazugehörigen Test Cases.[19][20]
- Time Partition Testing (TPT): Kommerzielles Werkzeug von PikeTec für modellbasiertes Testen eingebetteter Steuerungs- und Regelungssysteme. Für die Anbindung an .NET steht eine Programmierschnittstelle (API) an die TPT-VM zur Testausführung zur Verfügung.
Perl
- Perl hat eine weit zurückreichende Geschichte automatischer Tests. Perl selbst wird automatisch getestet und zur Perldistribution gehören eine Reihe von Testmodulen. Hier beginnt man am besten mit Test::Simple, arbeitet sich zu Test::More vor und taucht dann in die Tiefen von Test::Class und den weiteren Modulen ab. Diese verwenden alle das Test Anything Protocol (TAP).[21]
- Des Weiteren gibt es Test::Unit und Test::Unit::Lite, welche Derivate von JUnit sind.
PHP
- PHPUnit ist die Portierung von JUnit auf PHP und wurde von Sebastian Bergmann geschrieben.
- APHPUnit führt alle Testfälle in eigenen Prozessen aus. Dadurch ist es möglich, seiteneffektfrei z. B. statische Variablen zu testen. Weiterhin ist die Ausführung sehr schnell, da multiple Testfälle parallel ausgeführt werden.[22]
- Simpletest ist eine nicht mehr aktiv weiterentwickelte Portierung von JUnit, die um weitere Funktionen wie Mock Objects und Funktionen zum Testen von Web-Seiten erweitert wurde.
PL/SQL
- utPLSQL[23] ist ein UnitTest-Framework für PL/SQL welches ebenfalls unter SourceForge geführt wird.
- Code Tester for Oracle ist ein kommerzielles Produkt zur Definition und Durchführung Unit Tests für PL/SQL. Es handelt sich um eine Weiterentwicklung von utPLSQL und wird von Dell vertrieben.
- SQL Developer enthält Features zur Definition und Durchführung Unit Tests für PL/SQL. Diese IDE ist kostenlos und wird von Oracle vertrieben. Zum Betrieb ist ein Repository auf einer Oracle-Datenbank erforderlich.
Python
- Ein Unittest-Modul ist fester Bestandteil der Python-Standard-Bibliothek.
- htf ist ein Unittest-Framework mit Erweiterungen für Hardware-in-the-Loop zum Test von eingebetteten Systemen.[24]
Ruby
- Unittest ist in Ruby in der Standard-Bibliothek als
Test::Unit
oderRUnit
verfügbar. - RSpec ist ein verhaltensgetriebenes Entwicklungs- und Testframework für Ruby.
Matlab/Simulink
- BTC EmbeddedTester:[5] unterstützt den Requirements-basierten Test und automatisierten Back-to-Back Test von Simulink, TargetLink und Embedded Coder Modellen. Zertifiziert für ISO 26262, IEC 61508 und verwandte Standards.
- Simulink Design Verifier von The MathWorks generiert Testfälle zur vollständigen Überdeckung und einen Testrahmen. Zum Einsatz kommen dabei Formale Methoden.
- SystemTest von The MathWorks kann Modelle testen und dabei auch Parameter verändern. Inputstimuli können manuell oder durch statistische Verteilungen generiert werden.
- Time Partition Testing (TPT) von PikeTec[25] ist ein kommerzielles Werkzeug für modellbasiertes Testen eingebetteter Steuerungs- und Regelungssysteme. TPT unterstützt für zu testenden Simulink- oder TargetLinkmodelle die automatische Testrahmengenerierung inklusive einer automatischen Schnittstellenanalyse sowie die automatische Testdurchführung, Auswertung und Protokollierung. Back-to-Back Tests können automatisiert zwischen MiL und SiL ausgeführt werden.
- mlUnit[26] xUnit Framework zum Testen von Matlab-Skripten
Shell(s)
- shunit2 Open-Source-Projekt[27]. Unterstützte Shells: Bourne Shell, GNU Bourne Again SHell, DASH, Kornshell, Public Domain Korn Shell, zsh (ab Version 2.1.2). Unterstützte/getestete Plattformen: - Cygwin, FreeBSD, GNU/Linux (Gentoo, Ubuntu), macOS, Solaris (8, 9, 10)[28].
Smalltalk
SUnit: Das vermutlich erste Framework zum Erstellen von Komponententests wurde von Kent Beck für die Programmiersprache Smalltalk geschrieben. Die Idee wurde schnell auf andere Programmiersprachen übertragen.
Tcl
Tcl enthält das Modul tcltest für Modultests. Auch andere Test-Frameworks wurden in Tcl geschrieben, bekannt ist etwa DejaGnu, mit dem der gcc getestet wird. Zudem kann man in wenigen Zeilen ein „Framework“ selbst erstellen:
proc test {command expected} {
catch {uplevel 1 $command} res
if {$res ne $expected} {
puts "$command->$res, not $expected"
}
}
Tests (in eigenen Quelldateien, oder direkt beim Code) sehen dann so aus: man gibt eine Anweisung und das erwartete Ergebnis an. Wenn ein unerwartetes Ergebnis ausgewertet wird, so wird dies angezeigt:
test {expr 3 + 4} 7
Transact-SQL
TSQLUnit[29] ist ein Framework für Unittests in Transact-SQL. Es hält sich an die Tradition des xUnit Frameworks, das es für viele Programmiersprachen gibt.
Visual Basic 6
vbUnit: Das deutsche Unternehmen Maaß Computertechnik aus Bochum hat das xUnit Framework für Visual Basic 6 implementiert. vbUnit ist nicht vollkommen Open Source. In der kostenpflichtigen Version 3 Professional erhält man das Unit Testing Framework für Visual Basic 6 inklusive eines Microsoft Visual Studio 6 Add-on. Die Basic Version von vbUnit wird unter der GNU Lesser General Public License (LGPL) angeboten, das heißt, dass man zu dieser Version sowohl die kompilierten Komponenten als auch den Quellcode erhält. Der TestRunner und das Add-on für Microsofts Visual Studio 6 in der Professional-Ausgabe sind kostenpflichtig und nicht Open Source.
Tessy
Tessy ist ein Werkzeug zum automatisierten Modultest von in C oder C++ geschriebener Software, besonders für Embedded Systeme.
Siehe auch
Weblinks
- opensourcetesting.org (englisch) – Eine große Sammlung von Open Source Software-Testtools sowie ein recht aktives Forum mit Neuigkeiten und Diskussionen.
- Unittest
Einzelnachweise
- ↑ TEST.easy. Abgerufen am 5. März 2019.
- ↑ Ahven- Unit Testing Library for Ada Programming Language. Abgerufen am 30. September 2016.
- ↑ AUnit. Ada unit testing framework. (Nicht mehr online verfügbar.) Archiviert vom Original am 30. September 2016; abgerufen am 30. September 2016. Info: Der Archivlink wurde automatisch eingesetzt und noch nicht geprüft. Bitte prüfe Original- und Archivlink gemäß Anleitung und entferne dann diesen Hinweis.
- ↑ Ada Unit and Integration Testing Tool. Abgerufen am 30. September 2016.
- ↑ a b https://www.btc-es.de/de/produkte/uebersicht.html
- ↑ a b cfix-testing.org
- ↑ a b visualassert.com
- ↑ https://libcheck.github.io/check/
- ↑ cunit.sourceforge.net
- ↑ www.use-strict.de/sput-unit-testing/
- ↑ CppUnitLite-Beschreibungsseite - Ward's Wiki u. a. m. Download-Link
- ↑ cute-test.com
- ↑ libunittest C++ library
- ↑ savvytest beim Hersteller savignano software solutions
- ↑ Unit Testing with Dart
- ↑ JSUnit
- ↑ YUI (Memento des Originals vom 26. Juli 2013 im Internet Archive) Info: Der Archivlink wurde automatisch eingesetzt und noch nicht geprüft. Bitte prüfe Original- und Archivlink gemäß Anleitung und entferne dann diesen Hinweis.
- ↑ [1]
- ↑ Pex and Moles - Isolation and White box Unit Testing for .NET
- ↑ PEX - Automatisches Generieren von Unit-Tests (Memento des Originals vom 9. Januar 2014 im Internet Archive) Info: Der Archivlink wurde automatisch eingesetzt und noch nicht geprüft. Bitte prüfe Original- und Archivlink gemäß Anleitung und entferne dann diesen Hinweis.
- ↑ testanything.org
- ↑ APHPUnit
- ↑ utplsql bei SourceForge
- ↑ https://docs.hilster.io/htf/latest/
- ↑ PikeTec
- ↑ mlUnit
- ↑ Website: code.google.com. Git-Repos: github.com
- ↑ Selbstauskunft: shunit2.txt
- ↑ TSQLUnit beiSourceForge