Appraisal of Guidelines for Research and Evaluation

Das AGREE (Appraisal of Guidelines for Research and Evaluation) Verfahren ist ein Instrument für die Entwicklung, Verbesserung und Evaluierung von Behandlungsrichtlinien für den klinischen Gebrauch. Es ist ein Fragebogen zur Kontrolle und Benennung von Qualitätskriterien für Behandlungsvorschriften. Das Verfahren ist in internationaler Zusammenarbeit von Universitäten und Instituten entstanden und wird von einem Rat aus Mitgliedern dieser Bildungseinrichtungen, dem AGREE NEXT STEPS Consortium, betreut. Das Canadian Institutes of Health Research finanziert das Projekt.

Geschichte

Die Grundlagen, die zur Entwicklung des AGREE Instruments führten, wurden bereits 1997 mit dem „Apprasial instrument for clinical practice giudlines“ oder auch „Cluzeau Instrument“ gelegt. Diese deckten jedoch die Anforderungen an die Evaluierungen von Handlungsrichtlinien nicht ausreichend, weshalb 2003 das AGREE Instrument veröffentlicht wurde.   

Die dieser Methode zugrunde liegenden Vorgehensweisen inspirierte die „AGREE Collaboration“ zu der „AGREE I“ Methode, die schließlich 2003 veröffentlicht wurde.

Die AGREE Collaboration ist eine internationale Gruppe, die, geführt von europäischen Wissenschaftlern, an einer Methode arbeitete, um die Evaluation von Handlungsanweisungen für Behandlungen weiter zu verbessern und vor allem für den medizinischen Sektor zu verallgemeinern.

Nach einigen Jahren weiterer Arbeiten wurde schließlich 2009 von der „AGREE Collaboration“ eine überarbeitete Version des ursprünglichen AGREE Instruments veröffentlicht. Da es nur eine Überarbeitung und keine komplett neu ausgearbeitete Version des Instruments war, wurde es unter dem Namen „AGREE II“ veröffentlicht.   

Schließlich stellte die Gruppe die „AGREE Enterprise Website“ online, die unter anderem „My AGREE“ und andere Anwendungshelfer für AGREE integriert hat und eine einfachere Anwendung von AGREE ermöglichen soll. Zusätzlich sind hier verschiedene Anwendungsbeschreibungen für AGREE und Informationen über die verschiedenen Forschungsgruppen zusammengefasst.

Neuerungen waren unter anderem eine vereinfachte Möglichkeit für Mehrfach-Evaluationen derselben Handlungsanweisung.

Seit 2013 wird an einer Methode zur Evaluierung der klinischen Glaubwürdigkeit der Bewertung von Handlungsanweisungen entwickelt. Diese soll, sobald sie fertig ist, die AGREE II Methode ergänzen.

Bei der Entwicklung der einzelnen Webseiten hat die AGREE Collaboration mit Minervation, einer Webdesign-Firma aus Oxford, zusammengearbeitet.

Das AGREE Instrument

Das AGREE Instrument ist ähnlich einem Fragebogen aufgebaut. Hierbei werden insgesamt 23 Kategorien geführt, die jeweils verschiedene Aspekte einer klinischen Behandlungsempfehlung überprüfen sollen. Die Kriterien sind hierbei in sechs Themenbereiche, als Domänen bezeichnet, geordnet. Jeder Kategorie kann dann eine Punktzahl zugeteilt werden, je nachdem wie zufrieden der Bewerter war. Die Spanne der zu vergebenden Punkte reicht von 1 (trifft überhaupt nicht zu) bis 7 (trifft vollkommen zu).

	Name der Kategorie nach der AGREE Bezeichnung:	Verwendung des Kriteriums:	Umsetzungsbeispiel in einer Richtlinie:
Domäne 1: „Geltungsbereich und Zweck“:
Kategorie 1:	„Das / die Gesamtziel(e) der Leitlinie ist / sind eindeutig beschrieben.“	Es soll überprüft werden, ob und wie zutreffend die Beschreibung der Richtlinie auf den tatsächlichen Inhalt der Richtlinie ist. Hierbei sollte in einer Behandlungsrichtlinie folgende Punkte enthalten sein: - Versorgungsaspekt (z. B. Prävention, Screening, Diagnostik, Behandlung) - Erwarteter Nutzen oder erwartete Ergebnisse - Zielpopulation (z. B. Patienten, Bevölkerung)	Identifikation einer Strategie für die Prävention von Kontrastmittel-induzierten Nierenversagen in der klinischen Praxis
Kategorie 2:	„Die in der Leitlinie behandelte(n) gesundheitsrelevante(n) Frage(n) ist (sind) eindeutig beschrieben.“	Es soll überprüft werden, ob die Gesundheitsfragen klar und deutlich beschrieben sind.	Wie oft kommt es bei Patienten, die mit bildgebenden Verfahren diagnostiziert werden, bei denen Kontrastmittel verwendet wird, zu Brustkrebs?
Kategorie 3:	„Die Zielpopulation (z. B. Patienten, Bevölkerung) der Leitlinie ist eindeutig beschrieben“	Es soll überprüft werden, ob klar beschrieben ist, welche Bevölkerung durch die Behandlungsempfehlung betroffen sind. Hierbei ist darauf zu achten, dass folgende Fragen geklärt sind: Altersgruppe Geschlecht klinische Beschreibung der Erkrankung mögliche Begleiterkrankungen dieser Patientengruppe	Eine Behandlungsleitlinie zur Identifikation von geeigneten Methoden zur Prävention von kontrastmittelinduzierten Nierenversagen bei der Identifikation von Lebermetastasen bei Männern zwischen 50 und 70 unter Berücksichtigung von einem korrelierendem Leberversagen.
Domäne 2: „Beteiligung von Interessengruppen“:
Kategorie 4:	"Die Entwicklergruppe der Leitlinie schließt Mitglieder aller relevanten Berufsgruppen ein"	Es soll überprüft werden, ob die an der Erstellung der Leitlinie beteiligten Berufsgruppen in der Leitlinie erwähnt werden. Ausgenommen sind externe Gutachter und ähnliche Berufsgruppen.	An dieser Richtlinie haben folgende Personen mitgearbeitet: Mustermann, Max (Arzt) Musterfrau, Eva (Controlling)
Kategorie 5:	„Die Ansichten und Präferenzen der Zielpopulation (z. B. Patienten, Bevölkerung) wurden ermittelt“	Es soll überprüft werden, ob die Erfahrung und Erwartungen der Zielpopulation berücksichtigt wurden. Die dafür durchgeführten Erhebungen und Befragungen sollten dokumentiert sein.	Zur Erstellung dieser Richtlinie wurden Brustkrebs Patientinnen befragt, was für sie ein Zugewinn an Lebensqualität wäre.
Kategorie 6:	„Die Anwenderzielgruppe(n) der Leitlinie ist (sind) eindeutig beschrieben.“	Es soll ermittelt werden, ob die Anwendergruppe dieser Leitlinie klar und übersichtlich dokumentiert ist.	Diese Leitlinie ist an folgende Anwender gerichtet: Onkologen Nephrologen Hausärzte
Domäne 3: „Genauigkeit der Leitlinienentwicklung“
Kategorie 7:	„Es wurde systematisch nach Evidenz gesucht.“	Es soll untersucht werden, woher die für die Erstellung der Leitlinie verwendeten Daten kommen. Diese Informationen sollten klar in einem eigenen Kapitel/ Dokument dokumentiert sein.	Die Tumormetastasen wurden mittels der Datenbank „Tumors of the liver“ mit vorhandenen CT-Bildern verglichen
Kategorie 8:	„Die Kriterien für die Auswahl der Evidenz sind eindeutig beschrieben“	Es soll überprüft, ob eine klare Erklärung gegeben ist, wie die Anwenderzielgruppe zu ihren Entscheidungen kommen soll.	Aufgrund einer 2011 durchgeführten Studie liegt nahe, dass eine Tumormetastase in der Leber mit einem Karzinom im Bereich des Fundus ventriculi vorliegt. Die Bilder aus dem CT enthalten ebenfalls Evidenz-erzeugende Informationen. Hieraus lässt sich ableiten, dass eine Chemotherapie eingeleitet werden sollte.
Kategorie 9:	„Die Stärken und die Schwächen der Evidenz sind eindeutig beschrieben.“	Es soll die Bewertung methodische Qualität der in Kategorie 8 beschriebenen Kriterien bewertet werden.	Die Qualität der CT-Bilder weist erhebliche Mängel auf. Diese sollten deshalb konservativ verwendet werden.
Kategorie 10:	„Das methodische Vorgehen bei der Formulierung der Empfehlungen ist eindeutig beschrieben.“	Es soll das Vorgehen zum Erstellen der Empfehlungen bewertet werden.	Zur Erstellung dieser Behandlungsvorschrift wurden verschiedene klinische Studien durchgeführt. Alle hatten das Ergebnis gemein, dass eine erhöhte Zugabe von Kontrastmittel zu einer erhöhten Wahrscheinlichkeit eines Auftreten von Nierenproblemen führt.
Kategorie 11:	„Der gesundheitliche Nutzen, Nebenwirkungen und Risiken wurden bei der Formulierung der Empfehlungen berücksichtigt“	Es sollen die Formulierungen der Leitlinie in Bezug auf Nutzen, Nebenwirkungen und Risiken berwertet werden.	Die Therapie soll das Wachstum von Brusttumoren verlangsamen. Allerdings kann es durch die Therapie mit dem Medikament nachweislich zu Gehirntumoren kommen, außerdem wird häufig von Stimmungsschwankungen berichtet.
Kategorie 12:	„Die zugrunde liegende Evidenz kann den Empfehlungen eindeutig zugeordnet werden.“	Es soll überprüft werden, ob die Behandlungsempfehlungen mit den vorliegenden Krankheitsdaten eindeutig verkünpft sind.	Die Behandlung durch eine Chemotherapie führt dazu, dass die sich schneller teilenden Zellen durch die Zytostatika im Medikament absterben.
Kategorie 13:	„Die Leitlinie wurde vor ihrer Veröffentlichung durch externe Experten begutachtet.“	Es soll überprüft werden ob und inwieweit die Leitlinie vor ihrer Veröffentlichung evaluiert wurde.	Die Leitlinie wurde für 6 Monate im Lehrkrankenhaus der Universität Heidelberg getestet und ist optimal für die gewählte Zielgruppe anwendbar
Kategorie 14:	„Es existiert ein Verfahren zur Aktualisierung der Leitlinie.“	Es soll das mögliche Verfahren zu Aktualisierung der Leitlinie bewertet werden	Nach Einführung wird die Benutzung dieser Behandlungsvorschrift überwacht. Außerdem ist nach einem halben Jahr eine Anpassung auf eventuell auftretende Veränderungen im Klinikablauf vorgesehen.
Domäne 4: „Klarheit der Gestaltung“
Kategorie 15:	„Die Empfehlungen der Leitlinie sind spezifisch und eindeutig.“	Es soll geprüft werden, inwieweit die Empfehlungen eine ausreichend spezifische Angabe über die benötigten Behandlungen machen.	Bei dem Auftreten eines Brusttumors ist sofort eine Chemotherapie mit Medikament XY einzuleiten, parallel erfolgt die Gabe des Antikörpers XZ intravenös. Unterstützend kann eine Bestrahlung oder eine Operation durchgeführt werden
Kategorie 16:	„Die unterschiedlichen Alternativen für die Behandlung der Erkrankung oder des Gesundheitsproblems sind eindeutig dargestellt.“	Es soll bewertet werden, inwieweit ein ausreichendes Spektrum an Alternativbehandlungen gegeben ist.	Alternativ zur Behandlung des Brustkrebs mit dem Antikörper XZ kann auch das Medikament YZ zur Verminderung der auftretenden Stimmungsschwankungen eingesetzt werden
Kategorie 17:	„Die Schlüsselempfehlungen der Leitlinie sind einfach zu finden.“	Es soll bewertet werden, inwieweit die relevanteste Behandlungsempfehlung deutlich ersichtlich ist.	Am effektivsten in der klinischen Studie hat sich eine Therapie mit dem Antikörper XY erwiesen, der trotz der Nebenwirkungen, den effektivsten Tumorrückgang bewirkte
Domäne 5: Anwendbarkeit
Kategorie 18:	„Mögliche förderliche und hinderliche Faktoren für die Anwendung der Leitlinie werden beschrieben.“	Es soll überprüft werden, ob die Behandlungsrichtlinie auf die möglichen Hindernisse oder positiv fördernden Faktoren eingeht. Hierbei soll eine direkter Zusammenhang zwischen Behandlungsempfehlung und Faktoren bestehen.	Zu möglichen Hindernissen in der Neuausrichtung bei Behandlung von Schmerzpatienten kann es kommen, wenn weiterhin Lieferschwierigkeiten bei der Beschaffung von Kannabis aus dem Ausland vorkommen.
Kategorie 19:	„Die Leitlinie macht Vorschläge und / oder benennt Instrumente, die die Anwendung der Leitlinienempfehlungen unterstützen.“	Es soll bewertet werden, inwieweit die Leitlinie durch Empfehlungen von Material oder Handlungen, die Anwendbarkeit der Leitlinie verbessert.	Die Ärte bekommen jeweils eine Kurzfassung der Behandlungsrichtlinie als laminierten Bogen zur Mitnahme auf die Station.
Kategorie 20:	„Die möglichen finanziellen Auswirkungen der Leitlinienempfehlungen wurden berücksichtigt.“	Es bewertet werden, ob die Leitlinie ausreichen auf die finanziellen Auswirkungen ihrer Anwendung eingeht	Eine mögliche Auswirkung beim Ankauf eines Positronenbeschleunigers kann eine erhöhte Stromrechnung sein, die weiterhin durch öffentliche Mittel gedeckt werden muss.
Kategorie 21:	„Die Leitlinie nennt Messkriterien für die Bewertung der Prozess- und / oder Ergebnisqualität der Leitlinie.“	Es soll bewertet werden, inwieweit die Leitlinie Kriterien für ihre eigene Evaluierung bereitstellt.	Es findet sich im Anhang dieser Behandlungsrichtlinie ein Bogen zur Evaluierung. Hierbei werden die Punkte: Effektivität der Behandlung, Anwendung der Behandlung, Patientenbefinden,.. erörtert
Domäne 6: Redaktionelle Unabhängigkeit
Kategorie 22:	„Die finanzierende Organisation hat keinen Einfluss auf die Inhalte der Leitlinie genommen.“	Es wird bewertet, inwieweit die nicht-Einmischung der finanzieren Organisation bei der Erstellung der Leitlinie garantiert wird	Das finanzierende Organ des Krankenhauses lieferte vor Erstellung der Richtlinie einen finanziellen Ramen, den die Ärzte bei der Erstellung ihrer Richtlinie einhielten. Weiterhin kam es allerdings zu keinen Beeinflussung durch das finanzierende Organ.
Kategorie 23:	„Interessenkonflikte der Mitglieder der Entwicklergruppe der Leitlinie wurden dokumentiert und bei der Leitlinienerstellung berücksichtigt.“	Es soll bewertet werden, ob die Interessenkonflikt innerhalb der Leitlinien-erstellenden Organisation dokumentiert und in der Leitlinie berücksichtigt wurde	Bei dem Anwenden dieser Richtlinie für die Behandlung von Brustkrebs kann es zu einem Konflikt zwischen dem behandelten Arzt und dem Controlling kommen, da der Arzt die teure Bestrahlung mit dem Positronenbeschleuniger häufiger durchführen will als durch die Krankenversicherungen bezahlt.

Auswertung der Methode

Grundsätzlich ist die Empfehlung der Ersteller, um Repräsentativität zu gewährleisten, dass mindestens zwei Personen die Richtlinie mit dem AGREE – Instrument durchführen sollten. Als optimal wird einer Bewerterzahl von vier Personen angenommen. Eine Auswertung des AGREE INSTRUMENTs erfolgt nach dem folgen Schema:  

Beispiel

	Kriterium 1	Kriterium 2	Kriterium 3	Summen Domäne
Bewerter 1	4	6	7	17
Bewerter 2	5	2	7	14
Bewerter 3	6	4	6	16
Bewerter 4	4	5	3	12
Summe Kriterium	19	17	23	59

Hierbei berechnet sich die Gesamtbewertung der Domäne wie folgt:

(Berechnete Punktzahl – minimal mögliche Punktzahl) / (Maximal mögliche Punktzahl – minimal mögliche Punktzahl) = Gesamtwertung Domäne

wobei für die minimal erreichbare Punktzahl gilt:

Minimal mögliche Punktzahl = 1 (trifft überhaupt nicht zu) x (Kategorien) x (Bewerter)

für das Beispiel:

Minimal mögliche Punktzahl = 1 (trifft überhaupt nicht zu) x (3) x (4) = 12

und für die maximal erreichbare Punktzahl gilt:

Maximal mögliche Punktzahl = 7 (trifft vollständig zu) x (Kriterien) x (Bewerter)

für das Beispiel:

Maximal mögliche Punktzahl = 7 (trifft vollständig zu) x (3) x (4) = 84

Es ergibt sich also eine Gesamtbewertung für die Domäne für das Beispiel :

(Berechnete Punktzahl – minimal mögliche Punktzahl) / (Maximal mögliche Punktzahl – minimal mögliche Punktzahl) = (59-12)/(84-12) = 0,652

üblicherweise erfolgt die Angabe in Prozent: 0,652 *100 = 65,2 %

Der Wert, der sich ergibt kann zum Vergleich zwischen zwei verschiedener Richtlinien genutzt werden. Eine Bewertung, welcher Wert als gut empfunden werden sollte oder welcher Wert als schlecht, erfolgt durch das AGREE INSTRUMENT nicht. Der Anwender sollte sich selbst überlegen welche Prozentzahl in der Domäne erreicht werden sollte.

Vergleich der Versionen

Das Tool AGREE II ist eine aus dem ursprünglichen AGREE I weiter entwickelte Methode, die im Vergleich zum Vorläufertool zwar einige wesentliche Veränderungen aufweist, aber im Kern dieselbe Zielsetzung wie AGREE I aufweist. Die vorgenommenen Änderungen beziehen sich auf die Formulierungen der einzelnen Kategorialen.

Entwickelt wurde das neue Konzept, nachdem den ursprünglichen Entwicklern klar wurde, dass ihr Konzept noch einige Möglichkeiten zur Verbesserung und Optimierung zu bieten hatte.

Ziel war es vor allem, die Messeigenschaften, Praktikabilität und Anwenderfreundlichkeit zu verbessern.

Daraufhin gründeten Mitglieder der AGREE Collaboration das sogenannte AGREE next Steps Consortium, das für die Weiterentwicklung von AGREE I zu AGREE II zuständig war.

2009 wurde schließlich AGREE II veröffentlicht und ersetzte ab dem Zeitpunkt das veraltete AGREE I.

Der Kern des neuen Tools ist ein Benutzerhandbuch zur besseren Anwendung von AGREE II und 23 Bereiche, die in 6 Kategorien organisiert sind. Dabei bietet das Handbuch genaue Informationen zu jeder der 23 Fragen und gibt ebenfalls eine sehr ausführliche Beschreibung, wie diese in der Praxis genau anzuwenden sind. Damit vereinfacht sich die Anwendung von AGREE II auch für eher unerfahrene Benutzer deutlich.

Zwar wies auch AGREE I schon 23 Bereiche auf, jedoch sind die einzelnen Formulierungen und Ausrichtungen dieser 23 Bereiche bei AGREE II leicht verändert.

Folgende Tabelle gibt einen Überblick über die Änderungen von AGREE I zu AGREE II in den 23 Bereichen. Es werden nur die Änderungen erwähnt.

Bereiche aus AGREE I	Bereiche aus AGREE II
Kategorie 1: Geltungsbereich und Zweck
1. Das/die Gesamtziel(e) der Leitlinie wird/werden spezifisch beschrieben	1. Das/die Gesamtziel(e) der Leitlinie ist/sind eindeutig beschrieben.a)
2. Die in der Leitlinie behandelte(n) medizinische(n) Frage(n) ist (sind) spezifisch beschrieben.	2. Die in der Leitlinie behandelte(n) gesundheitsrelevante(n) Frage(n) ist (sind) eindeutig beschrieben.
3. Die Patienten, auf die sich die Leitlinie bezieht, sind spezifisch beschrieben.	3. Die Zielpopulation (z. B. Patienten, Bevölkerung) der Leitlinie ist eindeutig beschrieben.
Kategorie 2: Beteiligung von Interessengruppen
5. Die Ansichten und Wünsche der Patienten wurden ermittelt.	5. Die Ansichten und Präferenzen der Zielpopulation (z. B. Patienten, Bevölkerung) wurden ermittelt.a)
6. Die Anwender-Zielgruppe(n) der Leitlinie ist (sind) eindeutig definiert.	6. Die Anwenderzielgruppe(n) der Leitlinie ist (sind) eindeutig beschrieben.a)
7. Die Leitlinie wurde in einem Pilotversuch von Mitgliedern der Anwendergruppe getestet.	Bereich wurde gelöscht und in Bereich 19 eingebunden.
Kategorie 3: Genauigkeit der Leitlinienentwicklung
8. Bei der Suche nach Evidenz wurden systematische Methoden angewandt.	8. Es wurde systematisch nach Evidenz gesucht. Umbenennung in Bereich 7.a)
9. Die Kriterien für die Auswahl der Evidenz sind klar beschrieben.	9. Keine Änderungen. Umbenannt in Bereich 8.a)
10. Die zur Formulierung der Empfehlungen verwendeten Methoden sind klar beschrieben.	10. Das methodische Vorgehen bei der Formulierung der Empfehlungen ist eindeutig beschrieben. Keine Änderungen a)
12. Die Verbindung zwischen den Empfehlungen und der zugrunde liegenden Evidenz ist explizit dargestellt.	12. Die zugrunde liegende Evidenz kann den Empfehlungen eindeutig zugeordnet werden. Keine Änderung. a)
Kategorie 4: Klarheit der Gestaltung
16. Die für die Behandlung der Erkrankung verfügbaren Alternativen sind klar dargestellt.	16. Die unterschiedlichen Alternativen für die Behandlung der Erkrankung oder des Gesundheitsproblems sind eindeutig dargestellt.
17. Schlüsselempfehlungen der Leitlinie sind leicht zu identifizieren.	17. Keine inhaltliche Änderung. Im Rahmen der deutschen Übersetzung umformuliert. Die Schlüsselempfehlungen der Leitlinie sind einfach zu finden.
Kategorie 5: Anwendbarkeit
18. Die Leitlinie benennt Instrumente, die ihre Anwendung unterstützen können.	18. Die Leitlinie macht Vorschläge und / oder benennt Instrumente, die die Anwendung der Leitlinienempfehlungen unterstützen. UND neue Zuordnung der Domäne (von Klarheit der Gestaltung zur Anwendbarkeit) UND Umbenennung in Nummer 19.
19. Die möglichen organisatorischen Barrieren gegenüber der Anwendung der Empfehlungen wurden diskutiert.	19. Mögliche förderliche und hinderliche Faktoren für die Anwendung der Leitlinie werden beschrieben UND Reihenfolge verändert. Umbenennung in Nummer 18.
20. Die durch die Anwendung der Leitlinie möglicherweise entstehenden Kosten wurden berücksichtigt.	20. Der durch die Anwendung der Leitlinie möglicherweise entstehende Ressourcenbedarf wurde berücksichtigt.
21. Die Leitlinie nennt Schlüsselprüfkriterien für Monitoring und / oder Qualitätsbeurteilung.	21. Die Leitlinie nennt Messgrößen für die Bewertung der Prozess- und / oder Ergebnisqualität.
Kategorie 6: Redaktionelle Unabhängigkeit
22. Die Leitlinie ist redaktionell von der / den finanzierenden Organisation(en) unabhängig.	22. Die finanzierende Organisation hat keinen Einfluss auf die Inhalte der Leitlinie genommen.
23. Interessenkonflikte von Mitgliedern der Leitlinienentwicklergruppe wurden dokumentiert.	23. Interessenkonflikte der Mitglieder der Entwicklergruppe der Leitlinie wurden dokumentiert und bei der Leitlinienerstellung berücksichtigt.
a) Die Formulierung ist im originalen AGREE II unverändert zu der im originalen AGREE I, es wurde jedoch die deutsche Übersetzung angepasst.

Weblinks

• https://www.agreetrust.org/
• https://cihr-irsc.gc.ca/e/36331.html