robertmuench.de

To the point & Out of the box


Nutzwertanalyse meistens ohne Nutzen

Sie müssen eine komplex Entscheidung treffen, wie zum Beispiel die Auswahl eines Softwareanbieters, über die Investition in neue Strategien etc.?

Oft genug kommen keinerlei nachvollziehbare Bewertungsverfahren zum Einsatz. Falls doch handelt es sich meistens um eine Form der sogenannten "Nutzwertanalyse". Bei dieser Methode werden verschiedenen Kriterien definiert und untereinander gewichtet, danach werden Punkte vergeben. Die Option, welche bei der Auswertung (Summe aller Gewicht-Punkte-Paar Multiplikationen) die höchste Punktezahl erreicht, wird als die Beste angesehen und umgesetzt.

Leider hat die Methode gravierende Probleme und gaukelt eine Pseudogenauigkeit vor, die zu einer gefährlichen Fehlinterpretation führen kann.

Sie müssen eine komplex Entscheidung treffen, wie zum Beispiel die Auswahl eines Softwareanbieters, über die Investition in neue Strategien etc.?

Oft genug kommen keinerlei nachvollziehbare Bewertungsverfahren zum Einsatz. Falls doch handelt es sich meistens um eine Form der sogenannten "Nutzwertanalyse". Bei dieser Methode werden verschiedenen Kriterien definiert und untereinander gewichtet, danach werden Punkte vergeben. Die Option, welche bei der Auswertung (Summe aller Gewicht-Punkte-Paar Multiplikationen) die höchste Punktezahl erreicht, wird als die Beste angesehen und umgesetzt.

Leider hat die Methode gravierende Probleme und gaukelt eine Pseudogenauigkeit vor, die zu einer gefährlichen Fehlinterpretation führen kann.

Sollten Sie schon einmal mit einer Nutzwertanalyse zu tun gehabt haben, sollten Ihnen alle nachfolgenden Punkte bekannt vorkommen und beachtet worden sein, wenn nicht, ist die Chance groß, das die Bewertung fragwürdige Ergebnisse geliefert hat.

Sensitivitätsanalyse Vor der Entscheidung ist es sinnvoll, eine Sensitivitätsanalyse durchzuführen. Ziel dieses Schritts ist es herauszufinden, ob das Ergebnis robust gegenüber Veränderungen (innerhalb einer realistischen Bandbreite) von subjektiven Komponenten (z. B. Gewichten, Bewertungen) oder von Annahmen ist, die sich im Verlauf der Projektrealisierung ändern können (z. B. Investitionskosten). Im Idealfall ist die zuvor als optimal ermittelte Lösung bei der Sensitivitätsanalyse auch weiterhin die optimale Läsung. Ist dies nicht der Fall, ist eine Risikobetrachtung notwendig, da davon ausgegangen werden muss, dass die optimale Lösung bei einer Veränderungen im Projektumfeld nicht mehr die optimale Lösung darstellt.

Kriterienauswahl Es gibt keinen Konsens über zu verwendende Kriterien. Das hat zur Folge, dass für jedes Projekt spezifische Kriterien gebildet werden (müssen). Ob diese das messen, was sie sollen, ist eine andere Frage.

Einbeziehen von Kosten Man behandelt Kosten als ein Kriterium, welches das Ziel "Kostenminimierung" abbildet. Je geringer die Kosten, desto höher der Zielertrag. Kosten stellen dabei gedanklich entgangene Nutzen dar. Um dies in der Methode umzusetzen, hat das Kostenkriterium meistens ein sehr hohes Gewicht. Dadurch treten jedoch andere relevante Kriterien in den Hintergrund. Ein weiteres Problem ist, dass Kosten eine abgeleitete Größe ist. In dieser einen Zahl sind alle anderen Kriterien abgebildet.

Unabhängigkeit von Kriterien Die Methode setzt voraus, das die gewählten Kriterien sich nicht gegenseitig beeinflussen. Dies ist in der Praxis extrem schwer herzuleiten. Insbesondere wenn die Kosten als Kriterium genutzt werden, denn die Kosten beeinflussen viele andere Kriterien (z.B.: Qualität, Dauer, ...).

Nivellierung des Gesamtergebnisses Wenn man viele formal unabhängige Kriterien saldiert, ist es sehr wahrscheinlich, dass die eine Alternative hier und die andere dort ihre Stärken oder Schwächen hat. Selten gibt es einen "Sieger" in allen Teildisziplinen. Daher wird es ab ca. zehn Kriterien immer wahrscheinlicher, dass die Endergebnisse alle im mittleren Wertebereich, d. h. zwischen 40 und 60 von 100 möglichen Punkten, liegen. Die ursprünglich beabsichtigte Aussage, um wie viel die einzelnen Alternativen absolut auseinander liegen, muss daher stark relativiert werden.

Pseudogenauigkeit Die kardinal skalierte Nutzenschätzung ist das Hauptproblem der Nutzwertanalyse. Die Einzelnutzen werden auf einer Kardinalskala (Zahlwort, mit dem etwas Gezähltes ausgedrückt wird) angegeben, also mit absoluten Werten. Ziel ist ja die (relative) Reihung von Alternativen, wozu jedoch eine Ordinalskala (Zahl, die die Reihenfolge kennzeichnet, die Stelle, an der etw. in einer nach bestimmten Gesichtspunkten geordneten Menge steht) völlig ausreichen würde. Eine Ordinalzahl hat jedoch den Nachteil, dass man geringere Möglichkeiten hat, mathematische Operationen vorzunehmen, man kann weder addieren noch multiplizieren.

Inkonsistenzen Jede noch so schöne Nutzwertanalyse lässt aber eine Frage immer offen: wie gut war denn die Logik des Bewerters und damit auch die Qualität der Entscheidung? Gibt es Wiedersprüche in der Bewertung? Das Probelm der fehlenden Überprüfung der Inkonsistenzen stellt sich bei der Nutzwertanalyse nicht nur bei der Bewertung der Kriterien sondern auch bei der Bewertung von Modellen mit vielen Alternativen. Nicht zuletzt auch auf Grund des fehlenden "Zwang" auf den Entscheider alle Alternativen paarweise zu vergleichen. Dazu ein Beispiel:

Hat der Entscheider bewertet, dass

  • A größer B
  • B größer C
  • C größer D

dann muß logischierweise auch sein, dass

  • C kleiner A
  • D kleiner A
  • D kleiner B

Wenn der Entscheider nun aber trotzdem behauptet und bewertet, dass

  • C größer A
  • D größer A
  • D größer B

dann sind dies einfach unlogische Fehlbewertungen, welche in der Nutzwertanalyse nicht
auffliegen vor allem dann nicht, wenn es um die Gewichtung vermischter (weiche + harte) Kriterien geht.

Menschliches Bewerten ist meist auf Paarvergleiche ausgerichtet, die wenigsten Menschen können mehr als drei Alternativen auf einmal reihen. Kein Mensch kann jedoch angeben, ob der Nutzen einer Alternative nun 3 oder 4 auf einer Skala von 1 bis 10 ist - und das womöglich auch noch auf Stellen hinter dem Komma. Allerdings werden Zahlen mit Stellen hinter dem Komma seltener angezweifelt, denn die Auffassung ist verbreitet, dass derjenige, der etwas so genau angeben kann, das ganz genau und objektiv durchgerechnet haben wird.

Hier wird eine Genauigkeit vorgegaukelt, die durch nichts begründet ist und nur als Pseudogenauigkeit oder Bewertungshokuspokus bezeichnet werden kann.

Darüber hinaus ist der Nutzwert dimensionslos, man kann ihn nicht in Metern, Litern, Stück oder €wie auch immer angeben. Was soll man sich denn konkret darunter vorstellen, dass Alternative A einen Nutzwert von 43,07 und Alternative B einen Nutzwert von 42,59 hat, also um 0,47 schlechter ist? Welche konkrete Ausprägung hat dabei die 0,47? Hier ist der Manipulation Tür und Tor geöffnet.

Neben den Problemen der Methode, gibt es auch große Probleme (und Risiken) bei der Durchführung. Dazu einige Punkte:

  1. Ist den bewertenden Personen die Gewichtung bekannt, so beeinflusst dies sicher die eigenen Bewertung in Richtung des gewünschten Ergebnisses.
  2. Für die meisten Kriterien ist nicht definiert, wann welcher Punktwert zu vergeben ist. Es existiert kein Maßstab für die Kriterien. Sehr oft kommt von Anwendern dieser Methode die Aussage Die Messbarkeit kann nicht definiert werden. Wie soll das Kriterium dann bewertet werden? Es ist durchaus möglich ein Bewertungsmaßstab zu definieren, dies ist jedoch sehr viel Arbeit und wird deswegen meistens nicht durchgeführt.
  3. Nach einer ersten Durchführung wird festgestellt, dass die Gewichtungen so doch nicht stimmen. Daraufhin werden die Gewichtungen angepasst und der Vorgang wiederholt. Insbesondere die Anpassung der Gewichte bis zum gewünschten Ergebnis ist dabei ein beliebtes Spiel.
  4. Die Nutzwertanalyse liefert immer eine beste Lösung, auch wenn Sie nur schlechte Alternativen zur Auswahl haben, da nur die zur Auswahl stehenden Optionen bewertet werden. Meistens ist man aber daran interessiert, welche Alternative den eigenen Zielvorstellungen am nächsten kommt. Dies wird meistens dadurch versucht darzustellen, dass die optimale Lösung 100 Punkte erreichen muss.

Es gibt andere, meist viel besser geeignete Bewertungsverfahren, die einem bei der Entscheidungsfindung helfen, jedoch kann kein Verfahren den
Entscheidern die Entscheidung abnehmen.
0 Comments