3.3.1 Eigene Arbeit beleuchten – Erfolgsbewertung planen
Integraler Bestandteil einer Intervention wie der ECHO-Kampagne sollte eine sorgfältig geplante und durchgeführte Erfolgsbewertung (Evaluation) sein. Insbesondere, wenn eine solche Kampagne entwickelt und zum ersten Mal umgesetzt wird, ist es empfehlenswert, Erfolgsbewertungen im Verlauf der Umsetzung der Intervention - also im Prozess - sowie am Ende der Intervention – also abschließend - vorzunehmen. Der direkte Nutzen einer Evaluation besteht darin:
- im Verlauf der Echo-Kampagne beurteilen zu können, ob die Interventionen und Aktivitäten wie geplant umgesetzt werden und ablaufen. Diesen Aspekt der Erfolgsbewertung nennen wir Prozessevaluation. Entsprechende Informationen frühzeitig, also von Beginn der Umsetzungsphase an, zu sammeln und auszuwerten ermöglicht es, ungünstige Entwicklungen in der Umsetzung zu erkennen und ihnen gegensteuern zu können und so das Erreichen der angestrebten Ziele wahrscheinlicher zu machen.
- abschließend, d.h. summarisch am Ende der ECHO-Kampagne, beurteilen zu können, ob die mit der Kampagne verfolgten Ziele (etwa Beteiligung der Zielgruppe, konkrete Einsparziele) erreicht wurden. Diesen Aspekt der Erfolgsbewertung nennen wir im Weiteren Ergebnisevaluation.
- dass sich ferner nachgewiesene (Teil-)Erfolge im Rahmen von Rückmeldungen (Feedback) nutzen lassen, um andere Personen zur Teilnahme an der ECHO-Kampagne und zur Änderung ihres Nutzungsverhaltens überzeugen und motivieren zu können.
Eine gute Kampagnenplanung zeichnet sich dadurch aus, dass schon in der Planungsphase an diese Erfolgskontrolle gedacht wird. Zentrale Aspekte sind dabei:
- sich auf Merkmale (Indikatoren) zu verständigen, die Auskunft darüber geben können, ob die ECHO-Kampagne wie geplant verläuft und ob die gesetzten Teil- und Gesamtziele erreicht werden konnten
- die Beschäftigtenbefragung als wichtige Basis für die spätere Erfolgsbewertung der Kampagne. Mit dieser Befragung können Sie u.a. herausfinden, ob die Kampagne wahrgenommen wurde, wie sie bewertet wurde und ob die Mitarbeiter*innen ihr Verhalten verändert haben. Hierfür sollten Sie frühzeitig Erhebungsinstrumente bereitstellen, um notwendige Daten zu erfassen (z.B. Fragebögen)
- die Erhebung der Verbrauchsdaten in den Kampagnengebäuden. Daran können Sie erkennen, ob und in welchem Maße die Kampagne zu Energieeinsparungen geführt hat. Wichtig ist von Beginn an, regelmäßig (monatlich) die Zählerdaten in den Kampagnengebäuden zu erfassen.
- den Prozessverlauf zu dokumentieren und etwa Protokolle der Teambesprechungen anzufertigen und zu sammeln, um auch über den Verlauf der Kampagne und den Prozess der Kampagnenarbeit im Rahmen der Erfolgsbewertung Aussagen treffen zu können
- die verschiedenen Formen der Datenerhebung zu terminieren und durchzuführen
- die Datenausauswertung vorzubereiten und vorzunehmen
- die Ergebnisse zu nutzen (etwa zur Planung einer Fortsetzung der Intervention oder zum Transfer auf andere Bereiche)
Der „Arbeitsbereich: Eigene Arbeit überprüfen – Erfolgsbewertung planen“ wird in Kapitel 5. Abschlussphase noch einmal detailliert aufgegriffen und vertieft. Wichtig ist, diese Erfolgsbewertung schon vor dem Kampagnenstart gleich in die Planung mit einzubeziehen.
Planungshilfen für die Vorbereitung und Durchführung der Schritte der Erfolgsbewertung bietet Ihnen die Checklisten Verbrauchsinformationen sowie Beschäftigtenbefragung. In den ECHO-Materialien finden Sie unter Kurzfragebogen Mitarbeiter*innenbefragung Vorherbefragung und unter Kurzfragebogen Mitarbeiter*innenbefragung Nachherbefragung Vorlagen für die Erstellung geeigneter Fragebögen. Vertiefende Informationen und Hinweise zur Erfolgskontrolle, ihren Formen und Instrumenten finden Sie in Kapitel 5. Abschlussphase.