Theorie der Evaluation

Evaluation bzw. Evaluierung bezeichnet in theoretischer Hinsicht die systematische Beschreibung, Bewertung, Beurteilung und Beeinflussung eines Objektes in Beziehung auf ein Subjekt. Beschrieben wird damit im wörtlichen Sinne ein Vorgang der Bewertung, inhaltlich eher der einer Untersuchung bzw. Begutachtung (siehe Evaluation).

Synonyme oder verwandte Begriffe sind z. B. Abnahme, Assessment, Audit, Auswertung, Begutachtung, Bericht, Bilanzierung, Check, Funktionsprüfung, Inspektion, Konformitätsbewertung, Kontrolle, Lageanalyse, Leistungsprüfung, Messung, Praxistest, Prüfung, Qualitätsprüfung, Qualifizierung, Ranking, Rating, Revision, Stellungnahme, Test, Überprüfung, Untersuchung und andere. Insbesondere besteht aber eine Bedeutungsbeziehung zu den Begriffen der Validierung und Verifizierung.

Übrigens: Die PlusPedia ist NICHT die Wikipedia. Wir sind ein gemeinnütziger Verein, PlusPedia ist werbefrei. Wir freuen uns daher über eine kleine Spende!

1 Überblick

Bei einer Evaluation wird untersucht, was und wie etwas ist und wie es zu beurteilen ist. Es werden dabei Sein, Verhalten (Faktizität) und Bedeutung (Geltung) eines Objektes (Ist/Mittel) für ein Subjekt (Wert/Zweck), das heißt seine Qualität (Realität) in Form eines Subjekt-Objekt-Abgleichs (Wert-Ist- bzw. Zweck-Mittel-Relation) bestimmt. Dabei steht im Gegensatz zum idealerweise zweckfreien Erkenntnisinteresse der Wissenschaft der zielgerichtete Handlungszweck im Vordergrund. Hierzu wird mit allgemeinen beziehungsweise wissenschaftlichen Verfahren abgebildet, verglichen und geschlossen:

• Wissenschaft → Theorie, „Was können wir wissen?“, Objektbezug, Ursachen-Orientierung, Ursache-Wirkungs-Analyse, Causa efficiens, Stoßrichtung: sprachlich-informationelle Ebene
• Evaluation → Praxis, „Was sollen wir tun?“, Subjektbezug, Ergebnis-Orientierung, Zweck-Mittel-Analyse, Causa finalis, Stoßrichtung: umsetzungs-materielle Ebene

Das Verfahren der Evaluation lässt sich auch als wertende, entscheidungs- und handlungsgerichtete Vernunftanwendung oder Erkenntnisgewinnung (Qualitätsermittlung) beschreiben, beziehungsweise als Theorie und Praxis dynamischer Qualität. Im Rahmen von Verbesserungssystemen wie dem Qualitätsmanagement bildet es die Erkenntnisfunktion ab.

Als Kategorien fallen unter Bedeutung zum Beispiel Nutzen, Wert, Qualität und so weiter, unter Maßstäbe (Werte) des Subjektes etwa Wohl, Willen, Bedürfnis, Mangel und so weiter. Letztlich wird geprüft, ob etwas dem einzelnen Menschen (Individuum) dient beziehungsweise mit seinen Interessen (nicht) unvereinbar ist. Wissenschaftlich gültig geschieht das durch Widerlegung beziehungsweise Gegenprobe (→Falsifikation→Reductio ad absurdum, Argumentum e contrario). Praktisch zum Beispiel durch die Anwendung von Mängel-, Ausschluss- oder K.-O.-Kriterien wie in Form von Mängel-Listen, No-Go-, Veto-, Abbruch-Routinen (Abort), Ausschließungs- oder Abwahlverfahren, und so weiter.

Es handelt sich bei Evaluation um ein „objektives“, klassisches, intellektuelles, kognitives, formelles bzw. „rationales“ Erkenntnisverfahren durch Analyse, Logik, Kategorisierung, Systematik, etc. im Gegensatz zu „subjektiver“, romantischer, präintellektueller, präkognitiver, informeller bzw. „irrationaler“ Wahrnehmung/Einsicht durch Intuition, Emotion, Mystik, Synthese, etc.

Inwieweit diese Bestandteil bzw. Voraussetzung oder Ursprung von Erkenntnis bzw. Qualität/Realität sind, kann und wird durch eine Evaluation nicht unbedingt abgedeckt (werden). Allerdings scheint ein umfassender Qualitätsbegriff beide Aspekte, wenn nicht („sicher“ bzw. klassisch) zu integrieren, so doch wahrzunehmen und insofern zu „evaluieren“, als beide „in der Welt“ und somit auch Teil einer übergreifenden, sowohl physischen wie metaphysischen Qualität/Realität sind.

Evaluation kommt vor allem dort zum Tragen, wo dem Subjekt ein unmittelbarer, unabhängiger und umfassender informationeller und/oder materieller Zugriff auf das Objekt und die Wirkungen (Impact), die von ihm auf sich ausgehen (Nutzen oder Schaden) nicht oder nur bedingt gegeben ist. Sie hat insofern eine Mittlerfunktion. Idealerweise sollte Evaluation durch Erhöhung der Kapazität von Subjekt und/oder Objekt sowie der Verringerung von Distanz beziehungsweise Barrieren und Übergängen zwischen beiden auf eine Selbstabschaffung abzielen.

Im Einzelnen wird nun (klassisch) geprüft, ob und inwieweit (Wert) ein sinnlich wahrnehmbares oder bloß gedachtes Ding (Objekt) durch sein Sein (Attribut, Relation) oder sein Verhalten (Funktion) die Voraussetzungen (Bedingungen) im Hinblick auf etwas Gedachtes beziehungsweise Gemeintes (Idee) und/oder etwas Gesagtes beziehungsweise Gesetztes (Bild) und damit vorausgesetzt bzw. eingeschlossen oder abgeleitet auch die Maßstäbe des Subjekts erfüllt (siehe auch → Semiotisches Dreieck). Sie entspricht damit einer funktionalen Prüfung oder einer (Objekt-)Funktions- bzw. Relations-Analyse (entity-function, entity-relation). Sie trennt sich so wie Wissenschaft in

• Gültigkeits- und Wirkungs-Prüfung bzw. Validierung, auch Idee-Objekt-Vergleich, dynamische Prüfung, Prüfung gegen die Intention, Schließen, Vertikales Messen, Inhaltliche Prüfung, Konzeptanalye, Ideenbewertung, Argumentation, Ziel-Ist-Vergleich, Outcome-Analyse/-Messung, strategische Bewertung, Effektivitäts-Bewertung → Effektivität: Ziel-Einsatz-Verhältnis bei gegebenem Einsatz, → Induktion, sowie
• Wahrheits- bzw. Korrektheits-Prüfung bzw. Verifizierung, auch Bild-Objekt-Vergleich, statische Prüfung, Prüfung gegen die Spezifikation, Vergleichen, Horizontales Messen, Formale Prüfung, Ergebnismessung, Ausführungskontrolle, Abgleich, Soll-Ist-Vergleich, Output-Analyse/-Messung, operative Bewertung, Effizienz-Bewertung → Effizienz: Soll-Einsatz-Verhältnis bei gegebenem Soll, → Deduktion.

Während Intension bzw. Intention dabei (im Rahmen des klassischen Modells) ursprünglich sind, ist es Funktion einer abgeleiteten Spezifikation oder Norm, diese in der Realität zu repräsentieren und somit gestaltbar zu machen. Es gelten für Evaluationen einige handwerkliche Grundregeln:

• Eine Wahrheits-Prüfung gegen die Intention (Beweis) ist in verallgemeinerter Form nur im Rahmen einer Widerlegung (Falsifikation) möglich (vgl. Karl Popper / David Hume → Induktionsproblem bzw. hypothetisch-deduktive Methode bzw. konsequenter Fallibilismus → question every answer), das heißt für alle Vernunftanwendung bzw. Erkenntnisgewinnung gilt, es gibt keine allgemein gültige, höchstens bewährte, vorläufig stabile bzw. unwiderlegte Erkenntnis.
• Eine Funktions-Prüfung gegen sich selbst sowie gegen die Funktions-Prüfung ist möglich und im allgemeinen notwendig und sinnvoll. Erster und abschließender Evaluationsgegenstand sollten daher immer die Evaluation und der Evaluierende selber sein.
• Methoden der Evaluation sollten grundsätzlich fachübergreifend widerspruchsfrei bzw. ergänzend und allgemein möglichst exakt und in Übereinstimmung mit grundlegenden wissenschaftlichen Erkenntnisgrundsätzen sein (Modellbildung, Hypothesenbildung, Untersuchungsaufbau und -ablauf, Test- und Messverfahren, Ab-/Vergleichs-Verfahren, Argumentations-/Schlussverfahren, →Methodenvalidierung, → Logik).
• Evaluation folgt in theoretischer Hinsicht der gleichen Schrittfolge von Präskription/Normierung/Vorgabe (Sein-Sollen), Deskription (Sein), Validation/Verifikation (Vergleich von Sein und Sein-Sollen), Intervention (Korrektur- und Anpassungsmaßnahmen) wie Wissenschaft und Justiz, in praktischer Hinsicht der von z. B. Medizin und Beratung (Anamnese/Untersuchung, Diagnose, Therapie, Nachsorge).
• Da sich Evaluationen auf die Praxis beziehen, sollen/müssen sie durch Geltungszuweisung (Urteil), d. h. nachvollziehbare, Beschreibung, Bewertung und Beurteilung sowie Angabe von Handlungsansätzen/Maßnahmenenvorschlägen entscheidungs- bzw. handlungs- und verbesserungsfähig machen bzw. eine positive Position einnehmen.

2 Begriffsklärung

Datei:Evaluations-Modell 3-1.pdf

Detailschema (klassisches Modell)

Datei:Präsentation1.png

Vergleich von Wissenschaft und Evaluation

Datei:Circle of Existence Grinbaum.png

Kreislauf der Existenz nach Grinbaum. Das Modell dient dazu, theoretische Varianten des Zusammenhangs zwischen Materie und Informationen, wie sie sich aus der Quantenmechanik ergeben (könnten), zu veranschaulichen. Es soll die beiden wesentlichen Basisgrössen einer Evaluation darstellen.

Datei:Logisches Quadrat.svg

Logisches Quadrat

Datei:Bsc Arbeitshilfe.pdf

Beispiel einer Arbeitshilfe zu Validierung, Verifizierung und Maßnahmen-Management für eine Balanced Scorecard

Datei:Mappe1.pdf

Beispiel Prüf- bzw. To-Do-Liste

Im üblichen Sprachgebrauch bedeutet Evaluation die Beschreibung, Analyse und Bewertung von Objekten, Funktionen und Systemen sowie Projekten, Prozessen und Organisationseinheiten. Ziel von Evaluationsverfahren ist die Informationsgewinnung über Nutzen oder Entsprechung zur Erwartung (Validierung) beziehungsweise Entsprechung zur Vereinbarung bzgl. jeweiliger Funktionen (Verifizierung) (s. a. Qualifizierung und Abnahme, Lastenheft/Pflichtenheft, Zielvereinbarung, Vertrag) sowie Effektivität und Effizienz des auf sie entfallenden Einsatzes.

Evaluationen dienen damit der Wirkungsüberprüfung und stellen ein wichtiges Instrument zu der Optimierung von Normen, Regeln und Prozessen dar. Evaluationsverfahren können sich sowohl auf den Kontext, die Struktur, den Prozess als auch auf das Ergebnis beziehen. Sie bilden in praktischer Hinsicht die einzige Möglichkeit auf nicht ausschließlich intuitivem Weg Erkenntnis, Steuerung und Verbesserung zu erreichen. Evaluation ist im Allgemeinen Führungsaufgabe im Zuge der Validierung und Controlling-Aufgabe im Rahmen der Verifizierung. In beiden Fällen kann die Hinzuziehung zusätzlicher Beurteiler oder Schätzer mit anderen Blickwinkeln sinnvoll sein (360°-Ansatz). Erwähnenswert sind hier der Kunden-, Management- oder Expertenansatz.

In der Praxis hat die Wirkungs-Prüfung häufig die Form einer hierarchischen Nutzen-Messung (Nutzwertanalyse, Analytic Hierarchy Process, Analytic Network Process, Pyramid Principle) und die Wahrheits-Prüfung die Form eines Soll-Ist-Vergleichs beziehungsweise einer Abweichungsanalyse. Insgesamt kommen offensichtlich Ideenfindung, Zielbestimmung und Operationalisierung als dem Gegenstück von Validierung und Verifizierung entscheidende Bedeutung zu, wie ebenso Operationalisierung und Verifizierung der wichtigeren und vordringlicheren Validierung dienen, diese also den Wesenskern von Evaluation ausmacht.

In wirtschaftlicher Hinsicht werden Effektivität und Effizienz des Mitteleinsatzes unter anderem mit Methoden wie Wertanalyse, Gemeinkostenwertanalyse, Funktionskostenanalyse, Benchmarking, Activity Based Costing, Target Costing, Zero Base Budgeting, Kosten-Nutzen-Analyse, Deckungsbeitragsrechnung, GuV-, Bilanz-, Cash-Flow-Analyse, Kosten-Leistungsrechnung, Shareholder-Value-Analyse, Balanced Scorecard usw. untersucht und gesteuert. Vergleiche auch die Liste der Controllinginstrumente.

Zur Abbildung des Funktionszusammenhangs zwischen den Objekten in Form von Ketten, Hierarchien, Pyramiden, Netzen und so weiter und der Darstellung der zeitlichen, logischen und technisch-physikalischen Abhängigkeiten sowie der Beziehungen zwischen den Objekten in Form von Assoziation, Aggregation, Komposition oder Vererbung lassen sich auf der Grundlage von Objektorientierung beziehungsweise -basierung einfache Modelle und Tabellen, wie zum Beispiel einer Kreuztabelle als Objekt-Beziehungs-Matrix, aber auch komplexere Modelle zur System-Modellierung wie SysMod, UML, SysML, Petri-Netz, EPK, Entity-Relationship-Modell und andere anwenden. Vergleiche auch die Liste von Datenmodellierungswerkzeugen.

Management- oder Qualitäts-Management-Systeme wie EFQM, ISO 9000 ff., TQM, PDCA-Zyklus und andere lassen bei Mängeln im Bereich der Wirksamkeit oder Effizienz oder bei Abweichungen zwischen Soll und Ist in der Regel Innovations-, Anpassungs- oder Kostensenkungs-Initiativen und die Festlegung und Umsetzung von Maßnahmen mit nachfolgender Umsetzungs-, Wirkungs-, Institutionalisierungs- und Dokumentations-Kontrolle folgen. Beziehungsweise helfen sie, Objekte, Funktionen und Maßnahmen an der Schnittstelle zwischen Nachfrager (Subjekt, Pull) und Anbieter (Objekt, Push) bereits vorausschauend zu entwickeln (Quality Function Deployment).

Sinnvollerweise konzentrieren sich Maßnahmen zunächst auf die Objekte, Funktionen und Attribute mit der höchsten Relevanz im Hinblick auf das Ziel (Most/Primary/Principal Useful/Harmful Function) bzw. auf jene mit der höchsten Soll/Ist-Abweichung bei den Messwerten. Entsprechend sollten die Maßnahmen selbst im Hinblick auf ihre Effektivität und Effizienz sortiert werden (Grenznutzen-Analyse, Härtegrad-Zuordnung, Priorisierung), zum Beispiel mit Hilfe der 80/20-Regel oder der ABC-Analyse (top priority vs. nice to have bzw. first things first) → Maßnahmen-Management/-Controlling.

Gelingt es, den Zusammenhang der Funktionen im Zeitablauf im Hinblick auf das Gemeinte (Sinn und Zweck) proaktiv und dynamisch zu verändern (Validierung), sowie die Güte-Anforderungen an der jeweiligen Schnittstelle statisch wiederholt (über-)zu erfüllen (Verifizierung), entsteht in der Quintessenz (Konklusion, Synthese, Schlussfolgerung, Summation, Urteil, etc.) in der Wahrnehmung des Subjektes bezüglich des Objektes das, was der Begriff Qualität (Flow, Coolness, Outperformance, das Wesentliche, das Gute, etc.) umschreibt, wobei Sinn und Zweck jeweils auch Sinn- und Zweck-Freiheit sein kann.

Qualität ist dabei die Eigenschaft eines Gegenstandes dem Leben „…mehr Raum und Möglichkeiten“ („Metaphysik der Qualität“; Robert M. Pirsig) bzw. allgemein mehr individuelle Freiheit (Recht des Einzelnen auf „… Leben, Freiheit und das Streben nach Glückseligkeit …“; Thomas Jefferson, Unabhängigkeitserklärung der USA) zu verschaffen, Evaluation die entsprechende Prüfung und Moral das daraus abgeleitete Prinzip. Qualitäts-Management (und damit Evaluation) ist dementsprechend zuerst intrapersonal (subjektiv) bzw. interpersonal (intersubjektiv/allgemein) funktional gültige Moral- bzw. Werte- und Qualitätsbegriffs-Ableitung und -Management (Ethik/Ethos, Moralphilosophie, Gefangenen-Dilemma, Evolution, etc.).

Validierung wird landläufig auch als die Frage „Machen wir; macht es das Richtige?“ (Fitness for purpose) verstanden, während Verifizierung den Punkt „Machen wir es richtig; macht es es richtig?“ bedeutet (Fulfilment of a specification) (moral/strategic controlling vs. measures/measurements controlling). Der umfassende Zusammenhang von Ideen beziehungsweise Aussagen über Gültigkeit, Wirksamkeit und Wahrheit im Hinblick auf Sinn und Zweck beziehungsweise Qualität wird auch durch die Begriffe „Konzept“ oder „Story“ gekennzeichnet (beispielsweise Equity Story, Customer Story → s. a. Holismus).

Hinsichtlich des Verhältnisses zwischen Motivation/Intention und Einsatz wird unter den allgemeinen (physikalischen) Umweltbedingungen der Unsicherheit, der Knappheit bzw. Endlichkeit, des Wettbewerbs (Konkurrenz) und der Energieentwertung (Entropie) grundsätzlich ein Optimum (Effektivität bzw. Effizienz, s. a. Ökonomisches Prinzip), eben Qualität, angestrebt, welches abhängig von den Präferenzen des Funktions-Empfängers unterschiedliche Ausprägungen annehmen kann. Als Extrema dieser Optimierungs-Maxime bestehen das Maximal-Prinzip (Maximaler Nutzen bei gegebenem Einsatz oder Effektivität bzw. Qualitäts-/Differenzierungs-/Preisführerschaft→Validierung, Idee-Objekt-Vergleich) beziehungsweise das Minimal-Prinzip (Minimaler Einsatz bei gegebenem Nutzen oder Effizienz bzw. Kostenführerschaft→Verifizierung, Bild-Objekt-Vergleich).

Vereinfacht geht es darum, individuelle Bedürfnisse (Validierung) effizient (ökonomisch) zu erfüllen (Verifizierung), bzw. effektiv nicht zu verletzen. Dafür scheinen sich Individual-, Dezentral-, Subsidiaritäts-, Freiheits-, Privat-, Markt-, Wettbewerbs- oder Wahlhandlungs-Lösungen (Rational Choice/Public Choice) bei entsprechender Ausgestaltung auch und gerade vor dem Hintergrund des Werte-Rahmens im Allgemeinen bewährt zu haben (Subjekt-Orientierung, Individualismus).

Im Qualitätsmanagement soll die Wiederholung von Wert(maßstabs)-/Ziel-/Soll-/Ist-Bestimmung, -Vergleich, Schlussfolgerungen und Maßnahmen eine kontinuierliche Verbesserung (Evolution) bzw. dynamische und möglichst proaktive Anpassung („ahead of the wave/curve/pack“) und Entwicklung ermöglichen (Falsifikations-Zyklus bzw. trial-and-error / error-and-trial). Dabei stehen Wiederholrate (Periode / Iteration) des Falsifikations-Zyklus und Dynamik und Anpassungsfähigkeit des Objektes bzw. Systems, d. h. seine Qualität offensichtlich in Beziehung.

Evaluation selbst ist bisher nicht eindeutig und umfassend entwickelt und dokumentiert. Es fehlt an Gliederung und Arbeitsmitteln wie zum Beispiel Funktions-Bereichs-Matrixen, Funktionsbeschreibungen, Vorgehensmodellen, Methodenkatalogen, Prüfmitteln, Checklisten, Handlungsanleitungen, QM-Handbüchern, Do-it-yourself-Anleitungen bzw. Schritt-für-Schritt-Dokumentationen (Evaluation für „Dummies“, Kinder, etc.), Case Studies, etc.. Lücken und Überlappungen bzw. Schnittstellen zu anderen Bereichen wie Wissenschaft, QM, Controlling, Beratung, Management, Informationssuche, Dokumentation, Marktforschung, Justiz, etc. sind nicht klar (systematisch, elementar, funktional, MECE) aufgearbeitet.

Es gibt eine erhebliche (strukturelle) Erkenntnis- und Umsetzungslücke (Operationalisierung) des deutschen (Ausnahme Schweiz) und anderen gegenüber dem amerikanisch-angelsächsischen Sprach- und Kultur-Raum, insbesondere in der Realisierung funktionsfähiger und einfacher (Qualitäts-)Routinen (siehe z. B. Kundus-Vorfall, Kindesmißbrauch, Love Parade, Krankenhaushygiene, usw.), was insbesondere insofern relevant ist, als es bei Evaluation eben nicht nur um Erkenntnis, sondern zuerst und am Ende um gute Praxis, d. h. ganz praktisch auch um Leben und Tod geht (Evaluation als „Qualitäts-Maschine/-Automat“ bzw. „REFA oder TÜV für Moral“).

Es bleibt die Frage, ob Evaluation hierzulande nur ein moderner (romantischer) Oberbegriff für praktische Erkenntnisgewinnung und Vernunftanwendung bleibt, oder ob (spezifische) Methoden der Validierung und Verifizierung, beginnend vom Bereich der Moral und Werte (top floor) bis zur Maßnahmensteuerung (shop floor) entwickelt und integriert bzw. differenziert und vollständig und für alle (Lebens-)Bereiche („von oben bis unten und von links nach rechts“) (klassisch) widerspruchsfrei durchoperationalisiert werden („Von der Moral über die Methoden und Maßnahmen zur Materie und wieder zurück“). Ob also aus der Blackbox bzw. Greybox Evaluation eine Whitebox wird.

Schließlich sollte bei allem Evaluieren jedoch nicht übersehen werden, dass alle Erkenntnis und alles Handeln letztlich „irrational“ ist, das heißt, auf Erwartungen (Zukunft) und Erfahrungen (Vergangenheit) beruht, aber nicht letztgültig positiv begründet werden kann, sondern nur durch (intensiven und wiederholten) Methodeneinsatz möglichst weitgehend plausibilisiert bzw. widerlegt, also „versuchsweise abgesichert“ und aktualisiert, sprich an die Umstände (Zeit, Raum, Situation, Mittel, etc.) angepasst werden kann. In jedem Fall bewegt Evaluation sich unterhalb der Ebene des direkten, unvermittelten, dynamischen und romantischen Umgangs des Menschen mit seiner Umwelt und hat dabei nur eine, allerdings insbesondere im Rahmen der Falsifizierung extrem wichtige, Hilfsfunktion.

3 Siehe auch

• Evaluation

5 Andere Lexika

• Dieser Artikel wurde in der Wikipedia gelöscht.

---

---

• Löschdiskussion bei Wikipedia

Erster Autor: Antarctica365 angelegt am 25.10.2010 um 19:33, weitere Autoren: Saehrimnir, Pittimann, Ca$e, Mps, Gunnar1m, Wiegels, Emha