Continuous Query Language
Die Continuous Query Language (CQL) ist eine deklarative Anfragesprache für Datenströme in Data Stream Management Systemen. Sie stellt eine Erweiterung der SQL dar. Die CQL wurde bis Januar 2006 im Rahmen des STREAM-Projekts an der Stanford University entwickelt.
Bestandteile
Die wesentliche Erweiterung von CQL gegenüber SQL besteht darin, dass zusätzlich zu Relationen (Datenbanktabellen) auch Datenströme als Datentypen existieren.
Datenströme lassen sich als potentiell unendliche Folgen von Zeit-Wertepaaren auffassen.
CQL definiert außerdem folgende Operatoren, die in den nachfolgenden Abschnitten erläutert werden:
- der Fenster-Operator
[...]
- der Insert-Stream-Operator
ISTREAM
- der Delete-Stream-Operator
DSTREAM
- der Relation-Stream-Operator
RSTREAM
- der Stichproben-Operator
SAMPLE
für die Auswahl aus einem Datenstrom.
Für die Transformation zwischen Relationen können die herkömmlichen Operatoren aus SQL verwendet werden.
Die Umwandlung von Strömen in andere Ströme findet über den Umweg von Relationen statt.
Beispiele
Es werden kontinuierlich Wetterdaten gemessen, die als Datenstrom in einer Applikation ankommen. Der folgende CQL-Ausdruck liefert mit Hilfe eines Fenster-Operators die Durchschnittstemperatur der letzten 24 Stunden:
SELECT AVG(Temperatur) FROM Wetter [Range 1 Day]
Da es sich um eine kontinuierliche Anfrage handelt, wird diese per Istream standardmäßig wieder in einen Datenstrom umgewandelt. Die vollständige Anfrage lautet also:
SELECT ISTREAM(AVG(Temperatur) FROM Wetter [Range 1 Day])
In einer anderen Datenbank werden von einem Blitzortungssystem erkannte Blitze mit ihren Koordinaten eingetragen. Folgende Anfrage erzeugt daraus einen Datenstrom:
SELECT ISTREAM(position) FROM Blitz
In Kombination mit weiteren Daten lässt sich beispielsweise ein Datenstrom von Blitzen in ausgewählten Gebieten erzeugen und als aktuelle Blitzwarnung ausgeben.
Die Operatoren im Einzelnen
Fenster
Zur Umwandlung von Strömen in Relationen wird ein Fenster definiert. Die Syntax dafür ist
S [W]
, wobei S
ein Strom und W
ein Fenster ist. Das Fenster kann durch einen Zeitraum oder durch eine Anzahl von Tupeln angegeben werden:
[Rows 100]
liefert beispielsweise die jeweils 100 letzten Tupel[Range 5 Seconds]
liefert beispielsweise die Tupel der letzten 5 Sekunden
Wird kein Fenster angegeben, so wird [∞]
angenommen, das heißt, die Relation enthält alle Tupel aus dem Datenstrom bis zum aktuellen Zeitpunkt. Zusätzlich kann eine Beschränkung durch eine WHERE
-Klausel und bei durch Tupelanzahl-basierten Fenstern eine Gruppierung mit PARTITION BY
angegeben werden.
In folgendem Beispiel sei ein Strom „Bestellung“ mit den Attributen „Kunde“ und „Zahlungsart“ gegeben. Folgende Anfrage liefert jeweils die 5 letzten Bestellungen eines jeden Kunden, der mit Kreditkarte gezahlt hat.
SELECT * FROM Bestellungen B
[PARTITION BY B.Kunde ROWS 5]
WHERE B.Zahlungsart = 'Kreditkarte'
In Verbindung mit dem Operator RSTREAM
sind zusätzlich die Schlüsselwörter NOW
und SLIDE
möglich (siehe dort).
Insert-Stream
Mit dem Operator ISTREAM
wird aus einer Relation ein Datenstrom erstellt, bei dem jedes Mal, wenn ein Tupel in die Relation eingefügt wird, eine Kopie an den Datenstrom gesandt wird – allerdings nur, wenn es sich bei den eingefügten Tupeln nicht um Duplikate handelt. Die folgende Anfrage liefert mit jeder neuen Bestellung die Anzahl der Bestellungen innerhalb der letzten Stunde:
SELECT ISTREAM(COUNT(*)) FROM Bestellungen B [Range 1 Hour]
Delete-Stream
Mit dem Operator DSTREAM
wird aus einer Relation ein Datenstrom erstellt, bei dem jedes Mal, wenn ein Tupel aus einer Relation entfernt wird, dieses Tupel an den Datenstrom gesandt wird. Die folgende Anfrage liefert die gelöschten Kunden als Datenstrom:
DSTREAM (SELECT * FROM Kunden)
Relation-Stream
Der Operator RSTREAM
wandelt eine gesamte Relation in einen Datenstrom um. Das heißt, alle Tupel, die zum gegenwärtigen Zeitpunkt in der Relation enthalten sind, werden an den Datenstrom gesandt.
Das Schlüsselwort NOW
für die Länge eines Fensters liefert in Verbindung mit dem Operator RSTREAM
den aktuellen Wert. In folgendem Beispiel seien zwei Ströme Verbindungsaufbau und Verbindungsende gegeben, die jeweils den Anfang und das Ende einer Kommunikationsverbindung liefern. Die folgende Anfrage liefert fortlaufend alle abgeschlossenen Verbindungen, die höchstens 5 Minuten gedauert haben.
SELECT RSTREAM(A.*)
FROM Verbindungsaufbau [Range 5 Minutes] A, Verbindungsende [Now] E
WHERE A.id = E.id
Mit dem Schlüsselwort SLIDE
kann für ein Fenster angegeben werden, wie oft es aktualisiert werden soll, beziehungsweise wann das Fenster verschoben werden soll. Die folgende Anfrage liefert beispielsweise täglich das gleitende Monatsmittel der gesamten Bestellsumme aus einem Strom von Bestellungen:
SELECT RSTREAM( AVG(B.Summe) ) FROM Bestellungen B [Range 1 Month Slide 1 Day]
Samples
Um eine zufällige Auswahl aus einem Stream zu bekommen, gibt es den Operator SAMPLE
, dem eine Prozentzahl übergeben wird. Beispielsweise gibt die Anfrage SELECT * FROM T SAMPLE(10)
aus dem Stream T
jedes Element nur mit einer Wahrscheinlichkeit von 10 % aus, so dass im Durchschnitt nur jedes zehnte in den Ergebnisstrom übernommen wird.
Bewertung
Ein wesentlicher Vorteil der CQL ist, dass sie direkt auf der – nur teilweise deklarativen – SQL aufbaut und die Anfragen deklarativ formuliert werden können. Dies setzt jedoch im DSMS effiziente Verfahren zur Umformulierung der Anfrage in einen Anfrageplan voraus.
Mit STREAM konkurrierende Systeme verwenden entweder direkt ein imperatives Modell zur Formulierung von Anfragen (beispielsweise Aurora/Borealis) oder besitzen eine mit CQL vergleichbare Syntax (TelegraphCQ) beziehungsweise ermöglichen prinzipiell auch die Ausführung von CQL-Anfragen (PIPES).
Die Verarbeitung von Anfragen über XML-Datenströmen stellt ein eigenes Forschungsgebiet dar, in dessen Rahmen auf XPath statt auf SQL aufbauende Anfragesprachen entwickelt werden.
Siehe auch
Literatur
- Brian Babcock, Shivnath Babu, Mayur Datar, Rajeev Motwani, Jennifer Widom: Models and Issues in Data Stream Systems. PODS 2002, Madison, Wisconsin.
- Arvind Arasu, Shivnath Babu, Jennifer Widom: The CQL Continuous Query Language: Semantic Foundations and Query Execution. Stanford, 2003 (Technical Report)
- Rajeev Motwani, Jennifer Widom, Arvind Arasu, Brian Babcock, Shivnath Babu, Mayur Datar, Gurmeet Manku, Chris Olston, Justin Rosenstein und Rohit Varma: Query Processing, Resource Management, and Approximation in a Data Stream Management System. Stanford, 2002 (CIDR 2003)
Weblinks
- Stanford Stream Data Manager (STREAM; englisch)
- CQL-Einführung aus STREAM (englisch)
- CQL-Spezifikation für STREAM (englisch)
- Stream Query Repository – eine Sammlung von Anfragen in CQL (englisch)