Welche Probleme bei der Einbeziehung von Leistungskriterien in die Angebotswertung bestehen und wie mit diesen in der Praxis umzugehen ist, zeigen wir in diesem Beitrag. Dabei beleuchten wir alle Aspekte, die für die Angebotswertung insgesamt notwendig sind: die Bewertung von qualitativen und quantitativen Kriterien, ihre Gewichtung und ihre Gegenüberstellung.
Der Autor
Dr. Stefan Marinus Krusenbaum ist promovierter Wirtschaftswissenschaftler und verantwortet das Controlling der cosinex. Der der Experte für Wertungsmethoden bietet das beliebte Seminar Grundlagen und Auswahl geeigneter Wertungsmethoden in der cosinex Akademie an.
Immer wieder stehen Vergabestellen vor der Herausforderung, auch Leistungskriterien in die Wertung und Bezuschlagung von Angeboten einzubeziehen. Eine ausschließliche Wertung nach dem Preis ist schon aufgrund von § 127 Abs. 1 GBW kritisch, da der Gesetzgeber hier die Bezuschlagung des Angebots mit dem besten Preis-/Leistungsverhältnis fordert.
Ist es einer Vergabestelle nicht möglich, die Leistung in so detailliertem Maße vorzugeben, dass Leistungsunterschiede zwischen den Angeboten nicht zu erwarten sind beziehungsweise nicht auftreten, muss im Rahmen der Ausschreibung angegeben werden, nach welchen Kriterien die Leistungsseite (abgesehen vom Preis) bewertet wird und eine Beurteilung der Angebote gemäß dieser Kriterien erfolgen.
Die Einbeziehung von Leistungskriterien in die Wertung von Angeboten geht – aus technischer Sicht – mit zwei Problemen einher. Dem Problem der Unvergleichbarkeit der Leistungsbestandteile des Angebots und dem Problem der Unvergleichbarkeit des Preises und der Leistung. Überdies sind beim Vorhandensein mehrerer Leistungskriterien nicht nur die Bewertungen der einzelnen Kriterien festzulegen, sondern auch Gewichte zwischen den Leistungskriterien zu finden, um neben den durch die Bewertungen skizzierten möglichen Ausprägungen von Kriterien auch die Wichtigkeit der jeweiligen Kriterien für die Zuschlagsentscheidung offenzulegen.
I. Das Problem der Unvergleichbarkeit der Leistungsbestandteile des Angebots
Das erste Problem besteht darin, dass Leistungskriterien untereinander per se unvergleichbar sind. Sie liegen in unterschiedlichen Dimensionen vor: Während Angaben wie die Qualität des eingesetzten Projektteams in Jahren gemessen werden, liegt der CO₂-Fußabdruck in der Einheit „Kilogramm CO₂-Äquivalente“ vor, die Strahlkraft einer Lampe hingegen beispielsweise in Lumen, ihre Lebensdauer in Stunden.
Andere qualitative Kriterien wie die Optik oder Haptik lassen sich in der Regel gar nicht in einer technischen Dimension ausdrücken, sondern werden mithilfe von Wertungspunkten beziffert. Oftmals sind innerhalb einer einzigen Ausschreibung mehrere Leistungskriterien mit verschiedenen Dimensionen zu berücksichtigen, was deren direkten Vergleich streng genommen unmöglich macht.
Um der Menge theoretisch denkbarer Kriterien-Dimensionen Herr zu werden und diesen Dimensionskonflikt aufzulösen, werden im Rahmen der Wertung der Einfachheit halber sämtliche Leistungskriterien in Punkten angegeben. Dies erlaubt einen Vergleich der Leistungskriterien untereinander und die Ermittlung einer aggregierten Leistungskennzahl für die Leistungsseite des Angebots.
Für die Ermittlung einer Leistungskennzahl bedarf es zweier Komponenten: einerseits der aussagekräftigen Bewertung der Kriterien und andererseits der Gewichtung der Kriterien.
1. Bewertung von Leistungskriterien
Ein wichtiger Aspekt der Wertung besteht in der passgenauen Bewertung der einzelnen Kriterien, also einer zielgenauen Angabe der Punkte, die ein Angebot hinsichtlich eines Kriteriums erhält.
Während für qualitative Kriterien wie die Güte eines Konzepts, das Design oder den Geschmack (transparent zu kommunizierende!) Angaben dazu gemacht werden müssen, bei welcher qualitativen Ausprägung wie viele Punkte vergeben oder durch den Bieter erreicht werden, ist es bei quantitativen Größen wie dem Bremsweg in Metern oder der Lebensdauer einer Lampe sinnvoll, die Punkte mithilfe einer sogenannten linearen Interpolation aus den Ausprägungen der Angebote abzuleiten.
Dabei handelt es sich um ein mathematisches Verfahren, das dem Angebot mit der besten Ausprägung die für das Kriterium bestmögliche Punktzahl vergibt (zum Beispiel 10 von 10 Punkten) und für Angebote mit davon abweichender schlechterer Ausprägung hinsichtlich dieses Kriteriums einen dem Verhältnis nach gleichen Abschlag (bei 20 Prozent schlechterer Kriterien-Ausprägung beispielsweise nur noch 8 von 10 Punkten).
Im Folgenden wird genauer beleuchtet, wie qualitative (a) und quantitative (b) Aspekte in Punkten ausgedrückt werden können.
a. Punktevergabe für qualitative Kriterien
Bei rein qualitativen Kriterien liegt die Herausforderung darin, den Bietern möglichst transparent zu machen, wann wie viele Punkte in einem Kriterium erzielt werden können.
Ein mögliches „Wording“ lässt sich mit Blick auf eine Entscheidung der VK Bund ableiten, die folgenden Text für das qualitative Kriterium „Qualität des vorgeschlagenen Konzepts“ für zulässig erklärt hat:
- 1 Punkt = Die Darstellung ist unzureichend. Die Darstellung lässt kein Konzept erkennen, das sich bewähren wird.
- 2 Punkte = Die Darstellung ist nur teilweise nachvollziehbar. Die Darstellung lässt kein Konzept erkennen, das sich ohne erhebliche Modifikationen bewähren wird.
- 3 Punkte = Die Darstellung ist nachvollziehbar. Die Darstellung lässt ein Konzept erkennen, das den Bieter, teilweise mit Modifikationen, grundsätzlich in die Lage versetzt, die Anforderungen, die der Auftrag mit sich bringt, zu erfüllen.
- 4 Punkte = Die Darstellung ist gut und schlüssig. Sie lässt ein Konzept erkennen, das den Bieter in die Lage versetzt, die Anforderungen, die der Auftrag mit sich bringt, zu meistern.
- 5 Punkte = Die Darstellung ist sehr schlüssig und sehr fundiert. Sie lässt ein Konzept erkennen, das eine besonders gute und effiziente Aufgabenerfüllung erwarten lässt.
Angebote, die bei mindestens einem qualitativen Zuschlagskriterium weniger als 3 Punkte erhalten, kommen für den Zuschlag nicht in Betracht.
Der Bieter kann zwar nicht exakt ableiten, ob er mit seinem Konzept bei der Bewertung desselben 3 oder 4 Punkte erhalten wird, weiß aber um die grundsätzlichen qualitativen Aspekte, die bei der Bewertung eine Rolle spielen. Hier sind dies die Notwendigkeit, Modifizierungen am Konzept vornehmen zu müssen, beziehungsweise die Bewertung, ob dies aus sich heraus tragbar ist, die Bewertung, ob das Konzept für die Vergabestelle nachvollziehbar („gut und schlüssig“) ist und die Bewertung, inwieweit das Konzept eine gute und effiziente Aufgabenerfüllung erwarten lässt.
Dabei dürfen auch abgrenzende Worte wie „teilweise“, „grundsätzlich“, „überwiegend“ oder „besonders“ verwendet werden, um Bietern zu verdeutlichen, von welchen Aspekten die Bewertung ihres Konzeptes abhängt und in welchen qualitativen(!) Erfüllungsgraden die Vergabestelle die Güte dieser Aspekte bewertet.
Zusätzlich können in diesem Zusammenhang auch Mindestkriterien definiert werden, die nicht unterschritten werden dürfen, was ebenfalls offen kommuniziert werden muss. Angebote, die diese Mindestkriterien nicht erfüllen, dürfen nicht bezuschlagt werden.
b. Punktevergabe für quantitative Kriterien – Interpolationsmethoden
Bei der Bewertung quantitativer Kriterien ist zu beachten, dass exakte Abstände zwischen den Ausprägungen der Kriterien existieren. Diese sollen bei der Umrechnung in Punkte Berücksichtigung finden. Eine Umrechnung muss daher bestenfalls so beschaffen sein, dass die relativen Abstände zwischen den Ausprägungen nach erfolgter Umrechnung erhalten bleiben.
Ein mögliches Hilfsmittel hierfür ist die sogenannte lineare Interpolation. Bei dieser wird der Abstand zwischen der Bestausprägung eines quantitativ messbaren Kriteriums und einer unteren Grenze ermittelt (zum Beispiel bei Ausprägungen, die im besten Fall möglichst klein ausfallen: dem Doppelten der Bestausprägung. Zum Beispiel bei Ausprägungen, die im besten Fall möglichst groß ausfallen: der Hälfte der Bestausprägung).
Der Abstand zwischen der unteren Grenze dieses „Schwankungsbereichs“ und der konkreten Ausprägung des betrachteten Angebots wird hierzu in Bezug gesetzt. Für Angebote werden bezüglich eines so betrachteten Kriteriums somit Punkte vergeben, wenn ihre Kriterienausprägungen innerhalb des „Schwankungsbereichs“ liegen.
Grundsätzlich können sämtliche quantiativen Ausprägungen auf diese Weise bewertet werden. Damit ist es auch möglich, beispielsweise den Preis selbst als „Leistungs-“kriterium zu betrachten, ihn also auf diese Weise in Punkte umzurechnen und so mit den übrigen Leistungskriterien direkt vergleichbar zu machen.
2. Gewichtung von Leistungskriterien untereinander und Darstellung im Kriterienbaum
Die zweite Komponente für die Bewertung der Leistungsseite und für die Ermittlung der Leistungskennzahl eines Angebots ist die Angabe von Verhältnissen oder Gewichtungen der einzelnen Leistungskriterien untereinander, wenn mehr als ein Leistungskriterium vorliegt. Dabei kann es auch vorkommen, dass manche Kriterien ihrerseits wieder aus anderen Unterkriterien bestehen, dass also einem bestimmten Kriterium mehrere andere Kriterien untergeordnet sind.
Hilfreich ist hier die Anlage eines sogenannten Kriterienbaums, der neben der bloßen Gegenüberstellung der verschiedenen Kriterien auch die Verhältnisse oder Gewichte enthält, mit denen diese Kriterien einander gegenüberstehen.
In der Version 10 des cosinex Vergabemanagementsystems existieren zwei Möglichkeiten, die Kriterien in einem solchen Kriterienbaum abzubilden:
a. Top-Down-Methode
Die Gewichtungsangabe der Leistungskriterien erfolgt bei dieser Methode in Punkten (P).
Es müssen für die Gesamtheit der Kriterien insgesamt 1000 Punkte vergeben werden, die auf die Kriterien auf der obersten Ebene zu verteilen sind.
Besteht ein Kriterium seinerseits wieder aus mehreren Unterkriterien (die sich somit auf einer diesem Kriterium untergeordneten Ebene befinden), so ist die auf das Kriterium verteilte Gewichtungspunktzahl auf die darunter liegenden Unterkriterien weiter zu verteilen (daher Top-Down-Methode).
Die Gewichtungspunktzahl eines (Ober)Kriteriums muss dabei der Summe der Gewichtungspunkte aller direkt darunter verorteten Unterkriterien entsprechen.
Beispiel
- Kriterium A: 500 Punkte,
- Kriterium B: 500 Punkte. Kriterium B ist weiter unterteilt in
- Unterkriterium B1: 250 Punkte (der 500 von B),
- Unterkriterium B2: 250 Punkte (der 500 von B).
b. Bottom-Up-Methode
Die Gewichtungsangabe erfolgt bei dieser Methode klassisch in Prozent (%). Die Vergabe der Gewichtung als Prozentangabe für ein bestimmtes Kriterium kann hier auf unterster Ebene begonnen werden (daher Bottom-Up) und wird dann in jeder Ebene des Kriterienbaums so vergeben, dass die Summe aller (Unter)Kriterien jeweils 100 % erreicht und so die Zusammensetzung des direkt darüber liegenden Oberkriteriums definiert.
Die Kriteriengewichtung wird also auf jeder Ebene einzeln dargestellt und bezieht sich auf die Unterteilung des direkt darüberliegenden (Ober)Kriteriums.
Beispiel
Kriterium B1: 50 %, Kriterium B2: 50 % (bilden zusammen 100 % von Oberkriterium B), Kriterium B wird seinerseits zu 40 % gewichtet und auf dieser oberen Ebene Kriterium A (60 %) gegenübergestellt.
3. Ermittlung der Leistungskennzahl
Die Leistungskennzahl eines Angebots wird jeweils ermittelt, indem die tatsächlich im Rahmen der Bewertung erzielte Punktzahl eines Angebots (auf Basis der Punktevergabe für qualitative Kriterien und/oder der Punktevergabe für quantitative Kriterien – Interpolationsmethoden) mit der im Kriterienbaum vorgegebenen Gewichtung für dieses Kriterium (siehe Abschnitt 2 a) oder 2 b) ) multipliziert wird. Die Summe der einzelnen Produkte dieser Multiplikation ergibt die („aggregierte“) Leistungskennzahl.
Unabhängig davon, welche der skizzierten Darstellungmethoden des Kriterienbaums gewählt wird, muss – wenn der Preis noch nicht Bestandteil des Kriterienbaums war – die ermittelte Leistungskennzahl abschließend zur Ermittlung des gewünschten besten Preis-/Leistungsverhältnisses noch dem Preis gegenübergestellt werden, um die endgültige Wertungskennzahl zu ermitteln, auf deren Basis Zuschlagsempfehlungen erteilt werden. Wie dies erfolgen kann, wird im folgenden Kapitel erläutert.
Dr. Stefan Krusenbaum schult zu Wertungsmethoden regelmäßig in der cosinex Akademie. Die nächsten Seminare:
II. Das Problem der Unvergleichbarkeit des Preises und der Leistung
Auch bei der Ermittlung des besten Preis-Leistungs-Verhältnisses beziehungsweise der Gegenüberstellung von Preis und Leistung besteht – ähnlich wie bei den Leistungskomponenten untereinander (siehe oben in Kapitel 1) – das Problem, dass die Leistungsseite und der Preis in Bezug auf ihre Dimension untereinander unvergleichbar sind. Die Leistungspunktzahl liegt als aggregierte Leistungskennzahl vor, der Preis hingegen in Euro.
Eine oft gewählte Auflösung dieses Dimensions-Konflikts besteht darin, auch den Preis zum Leistungskriterium zu erklären, ihn also ebenfalls mithilfe einer Interpolationsmethode in Preispunkte umzurechnen (siehe auch Punktevergabe für quantitative Kriterien – Interpolationsmethoden). So wird er (mit entsprechendem Gewicht versehen) bereits Teil des Kriterienbaums, der dann nicht nur eine Leistungskennzahl ermittelt, sondern bereits die endgültige Wertungskennzahl bildet, da der Preis dann ja dann bereits Bestandteil des Kriterienbaums und somit der Wertung ist, also bereits als „Preispunkte“ in der Wertung enthalten ist.
Alternativ kann sich die Vergabestelle aber auch sogenannter Wertungsformeln (gemeinhin auch Wertungsmethoden genannt) bedienen, die den Preis der ermittelten Leistungskennzahl nochmals separat gegenüberstellen. Die Verlagerung des Preises auf diese „zweite Ebene“ kommt einem „Ziehen vor die Klammer“ gleich, der Preis wird also als gesondertes (weil in der Regel besonders relevantes) Kriterium erst hinzugezogen, nachdem sämtliche anderen Leistungskriterien bereits durch den Kritierienbaum zu einer Leistungskennzahl verrechnet worden sind.
Der Preis wird hier somit nicht mittels einer Interpolationsmethode in Preispunkte umgerechnet, sondern den Kriterien der Leistungsseite mithilfe einer sogenannten Wertungsmethode gesondert gegenübergestellt (siehe folgende Abschnitte). Die Verwendung einer Wertungsmethode zur Gegenüberstellung von Leistungsseite und Preis dient somit ausschließlich der Behebung des auch hier wieder vorliegenden Problems, dass Leistungspunkte auf der einen Seite und Preis auf der anderen Seite miteinander nicht direkt verglichen bzw. einander gegenübergestellt werden können.
Das Vergabemanagementsystem 10 beinhaltet in diesem Zusammenhang verschiedene Klassen von Wertungsmethoden, die eine Gegenüberstellung von Preis auf der einen und Leistung auf der anderen Seite vornehmen:
1. Niedrigster Preis
Hierbei handelt es sich streng genommen um eine „Sonderform“ der Wertung. Die oben skizzierte Ermittlung einer Leistungskennzahl entfällt hier und wird durch eine maximal detaillierte Ausarbeitung eines Leistungsverzeichnisses abgelöst, das die zu beschaffende Leistung so genau und detailliert spezifiziert, dass auch bei einer ausschließlichen Wertung nach dem Preis trotzdem das beste Preis-Leistungsverhältnis bezuschlagt wird. Grundlage dafür ist die Annahme und Gewährleistung, dass das Leistungsverzeichnis so aussagekräftig ist, dass nicht von einer Abweichung der Qualität der Leistungserbringung der Bieter auszugehen ist.
Als Pendant hierzu dürfen alternativ auch Festpreise oder Festkosten angegeben werden und eine Wertung nur nach der höchsten Leistungskennzahl erfolgen, also die Preisseite „fest vorgegeben“ werden.
2. Gewichtungsmethoden
Bei Gewichtungsmethoden erfolgt eine Gewichtung von Preis- und Leistungsseite. Wie bereits bei den Leistungskriterien untereinander (siehe Abschnitt I.2), wird nun auch im Zuge der Gegenüberstellung von Preis und Leistung nochmals ein gegenüberstellendes Gewicht verwendet, das die aggregierte Leistungsseite abschließend dem Preis gegenüberstellt.
Da Preise und Leistungen aufgrund ihrer Dimension nicht unmittelbar miteinander verrechnet werden können, müssen auch hier Angleichungen erfolgen, um einerseits eine Angleichung der Dimensionen (bezogen auf die Einheit: Leistungspunkte auf der einen Seite, Preis in Euro auf der anderen Seite) herbeizuführen und andererseits eine Angleichung der Dimensionierung zu erzielen (bezogen auf die Höhe der Werte: Preise liegen zum Beispiel im Bereich von 200.000 Euro vor, Punkte aber nur 1000), damit die gewählten Seiten-Gewichtungen unverzerrt wirken.
Diese Vorgehensweise ähnelt aufgrund der implizit vorgenommenen „Umrechnung von Preisen in Preispunkte“ der Verwendung einer Interpolationsmethode: Der Unterschied besteht darin, wie genau die Umrechnung beziehungsweise Angleichung der Dimensionen erfolgt, um Preis und Leistungsseite miteinander vergleichbar zu machen. Bei der Interpolationsmethode wird der Abstand zu einer definierten unteren Grenze betrachtet, bei der null Punkte vergeben werden (also beispielsweise null Punkte für Preise, die doppelt so teuer sind wie der Preis des günstigsten Angebots). Dieser Abstand wird zum diesbezüglich maximal möglichen Abstand zur unteren Grenze (der beim niedrigstpreisigen Angebot vorliegt) in Bezug gesetzt. Bei den in diesem Abschnitt vorgestellten Gewichtungsmethoden erfolgt hingegen eine Verhältnisbildung direkt zwischen dem niedrigsten Preis und dem Preis des betrachteten Angebots.
Der so ermittelte Betrag entspricht einer Art „Erfüllungsgrad“ (Interpretation bei der Interpolation: „Wie weit liegt mein Angebot im Vergleich zum besten Angebot von einem definierten schlechtesten Wert entfernt?“; Interpretation bei Gewichtungsmethoden: „Wie gut ist mein Angebot im Vergleich zum besten Wert?“).
Dieser Wert wird bei der Interpolationsmethode auf Basis einer Verrechnung mit einer maximal erzielbaren Punktzahl, bei den hier behandelten Gewichtungsmethoden hingegen auf Basis der besten tatsächlich erzielten Punktzahl (zur Anpassung der Dimensionierung an das tatsächlich vorliegende Leistungsniveau) skaliert.
3. Verhältniskennzahlen
Bei Verhältniskennzahlen (auch bekannt als Richtwertmethoden) erfolgt die Bildung eines Quotienten aus Leistungskennzahl und Preis des jeweiligen Angebots.
Das Problem der Dimensionsungleichheit wird hier dadurch aufgelöst, dass die Dimensionen in Bezug zueinander gesetzt werden. Die Interpretation einer solchen Wertungskennzahl ist daher vergleichsweise einfach, sie spiegelt die „Anzahl Leistungspunkte, die je ausgegebenem Euro“ erhalten werden, wider.
Bei den Richtwertmethoden, die auf einer derartigen „Ins-Verhältnis-Setzung“ basieren, wird überdies § 127 Abs. 1 GWB am stärksten Rechnung getragen, da es sich hierbei um eine rechnerische Abbildung der Forderung nach dem besten Preis-Leistungsverhältnis handelt. Eine zusätzliche Gewichtung von Preis oder Leistungsseite ist im Rahmen solcher Verhältniskennzahlen jedoch nicht mehr möglich.
4. Auswahl der Methode
Wählt man eine klassische Wertungsmethode, die eine gesonderte Gegenüberstellung von Preis auf der einen und Leistungskriterien auf der anderen Seite vornimmt (rechnet die Preise also nicht mittels linearer Interpolation in Preispunkte um und nimmt den Preis nicht bereits neben den übrigen Leistungskriterien in den Kriterienbaum auf), erfordert die Wahl der dann erforderlichen Wertungsmethode zur abschließenden Gegenüberstellung von Preis und Leistung Fingerspitzengefühl und eine möglichst gute Antizipation der in der Ausschreibung vorliegenden Gegebenheiten.
Während Gewichtungsmethoden zum Einsatz kommen, wenn Preis- und Leistungsseite mit voneinander abweichenden Gewichtungen versehen werden, aufgrund der darin enthaltenen angebotsübergreifenden Vergleiche zum Angebot mit den besten Ausprägungen aber anfällig gegenüber Ausreißern sind (analog zur Verwendung einer Interpolationsmethode), gestalten sich Verhältniskennzahlen (Richtwertmethoden) oftmals robuster, sind allerdings nicht dazu geeignet, einseitige Gewichtungspräferenzen zugunsten von Preis oder Leistung vorzunehmen.
Für eine genauere Erläuterung, welche Wertungsmethode wann am besten geeignet ist, bietet sich eine Lektüre unserer vierteiligen Beitragsreihe Wie man Äpfel mit Birnen vergleicht – Die Auswahl der richtigen Wertungsmethode im Überblick an.
III. Hinweise für die Praxis
Die passgenaue Wertung bleibt auch mithilfe eines unterstützenden Systems wie des cosinex Vergabemanagementsystems herausfordernd, da Vergabestellen sich der verschiedenen Möglichkeiten und alternativen Vorgehensweisen, die das System bietet, bewusst sein müssen und ihre Präferenzen und Möglichkeiten (etwa im Hinblick auf die Angabe von Gewichten) kennen müssen. Eine pauschale Empfehlung kann nicht ausgesprochen werden, da sich je nach Präferenzen der Vergabestelle und Charakteristika der Ausschreibung oder der Struktur der Leistungskriterien mal die eine, mal die andere Herangehensweise eher anbietet.
Für die Erlangung eines tieferen Verständnisses der einzelnen Wertungsstufen und -methoden empfiehlt sich der Besuch des Seminars „Grundlagen und Auswahl geeigneter Wertungsmethoden“ der cosinex Akademie. Informationen zu den nächsten buchbaren Terminen sowie die Anmeldemöglichkeit finden Sie hier.
Verwandte Beiträge
Titelbild: Lukasz Szmigiel – Unsplash