Der Median in der Wertung – Eine Büchse der Pandora?

Die Vergabekammer des Bundes hat in einem jüngst gefassten Beschluss eine bestimmte Nutzung des Medians in der Angebotswertung für vergaberechtswidrig erklärt. Dr. Stefan Krusenbaum nimmt den Beschluss in den Blick und grenzt das beanstandete Verfahren von der auch als „gewichtete Richtwertmethode“ bekannten Medianmethode ab, die auch den Anwendern des cosinex Vergabemanagementsystems als eine von vielen Methoden zur Auswahl steht.

I. Zum Sachverhalt

Die Vergabestelle, Antragsgegnerin im Verfahren, hat die Reinigungsdienstleistung eines Gebäudes europaweit offen ausgeschrieben und dabei sowohl den Angebotspreis als auch verschiedene leistungsbezogene Wertungskriterien herangezogen.

Zuschlagskriterien bei der Wertung der Angebote waren insgesamt folgende vier Kriterien nebst zugehöriger Gewichtung:

1. der Angebotspreis (Jahrespreis) zu 48 %,
2. der produktive Arbeitseinsatz in Stunden zu 48 %,
3. Vorarbeiterstunden pro Jahr zu 3 %,
4. Objektleiterstunden pro Jahr zu 1 %.

Der Autor

Dr. Stefan Marinus Krusenbaum ist promovierter Wirtschaftswissenschaftler und verantwortet das Controlling der cosinex. Der der Experte für Wertungsmethoden bietet das beliebte Seminar Grundlagen und Auswahl geeigneter Wertungsmethoden in der cosinex Akademie an.

Alle Beiträge von Dr. Stefan Krusenbaum »

Wird im Rahmen einer solchen Wertung der Angebotspreis (in der Regel mittels linearer Interpolation) in „Preispunkte“ umgerechnet, lässt er sich mit den übrigen, ebenfalls in Punkten angegebenen oder umrechenbaren Leistungskriterien vergleichen, so dass eine solche Wertung grundsätzlich „technisch“ beziehungsweise mathematisch möglich ist.

Problematisch und von der Antragsstellerin beanstandet war jedoch, dass sich bei den Leistungskriterien wie dem Kriterium „produktiver Arbeitseinsatz in Stunden“ die Vergabe von Punkten, die ein Bieter in diesem Kriterium erzielt, nicht nach objektiven Kriterien, wie der Güte der Leistungsausführung, sondern wie folgt gestalten sollte:

Der Arbeitseinsatz sollte sich aus den für alle Objekte kalkulierten produktiven Stunden je Los der Reinigungsleistungen zusammensetzen, die zudem in der entsprechenden Zeile des Preisblattes einzutragen waren. Aus den Angeboten derjenigen Bieter, die in die Wertung kommen, sollte anschließend der Medianwert hinsichtlich des Arbeitseinsatzes gebildet werden. Also der Wert, der genau in der Mitte der Ausprägungen aller eingegangenen und berücksichtigten Angebote liegt. Dieser Wert diente als Grundlage und de facto als Bestwert für die Bewertung. Die maximale Punktzahl erhielt demnach ein Bieter, wenn sein produktiver Arbeitseinsatz +/- 5 % um den Medianwert liegt. Die weiteren Angebote wurden ausgehend vom Medianwert um 5 %, dann abgestuft 10 %, 15 %, 20 %, 25 % und 30 % bewertet.

Ein Bieter hätte bei einer solchen Wertung also einerseits über das Preisblatt eine umso bessere Preiswertung erhalten, je weniger Stunden er für die Reinigung des Gebäudes veranschlagt (und je niedriger der angebotene Preis ist). Er schätzt dafür den Arbeitsumfang selbst und gibt folglich sowohl den Preis als auch den Multiplikator des Preisblattes (wie viele Stunden werden zu diesem Preis geleistet) selbst vor (s.o.: für das erste Kriterium). Andererseits erhält er gleichzeitig für die Ausführung der Arbeit dann die höchste Punktzahl, wenn er mit diesem von ihm selbst angegebenen „produktiven Arbeitseinsatz in Stunden“, also dem Arbeitsumfang, möglichst nah am Mittel der Arbeitsumfänge liegt, das als Median aus den von allen Bietern veranschlagten Arbeitsumfängen abgeleitet werden sollte (s.o. für das zweite Kriterium).

Die Vergabestelle hat somit de facto einen aus den eingegangenen Angeboten ermittelten Median als Leistungsmaßstab herangezogen und sämtliche Abweichungen unabhängig von deren inhaltlicher Güte mit Punktabzügen versehen. Dies betrifft sowohl Besser-(!), als auch Schlechterleistungen und folglich die Angebotsausprägungen fast aller Bieter, da bis auf den Bieter, dessen Angebot den Median bildet, alle anderen Bieter mit ihren angegebenen Stunden unter- oder oberhalb dieses Wertes liegen. Somit führte faktisch jedwede Abweichung vom Mittelwert, ohne dass dies inhaltlich begründbar wäre, zu einer Abstrafung des jeweiligen Angebots.

Ein durch die Ausprägung der eingegangenen Angebote definierter Median wurde in diesem Fall also als bestmöglicher Maßstab zur Ableitung der (eigentlich von der Vergabestelle vorzugebenden) gewünschten Häufigkeit eines Arbeitseinsatzes (normalerweise existent als vorgegebener Multiplikator im Preisblatt) herangezogen. Anders ausgedrückt hat die Vergabestelle die Bieter darüber im Unklaren gelassen, in welchem Umfang Arbeiten auszuführen sind und hat stattdessen den Bieter hinsichtlich der Leistungserbringung am besten bewertet, der mit seinem selbst angegebenen Arbeitsumfang die durchschnittlichste Zeit in Anspruch genommen hat.

II. Beurteilung der Vergabekammer

Dieses Vorgehen hat die Vergabekammer des Bundes zu Recht beanstandet (VK1-77/23), das Verfahren war in den Stand vor Bereitstellung der Vergabeunterlagen zurückzuversetzen.

Zur Ermittlung des Angebots mit dem besten Preis-Leistungs-Verhältnis, das nach § 127 GWB für die Vergabe zu Grunde zu legen ist, sei eine Relation des für die zu beschaffende Leistung zu zahlenden Preises beziehungsweise der durch sie entstehenden Kosten mit dem Grad der Erfüllung der durch den öffentlichen Auftraggeber festgelegten qualitativen Zuschlagskriterien vorzunehmen, wie die Vergabekammer in der Beschlussbegründung befand.

Die Wertung durch den Auftraggeber sei folglich nicht in seine Beliebigkeit gestellt, sondern habe sich an die im Vorhinein festgelegten und bekanntgemachten Zuschlagskriterien und deren Gewichtung zu halten, begründete die Vergabekammer richtigerweise und verwies hierbei auch auf die einschlägige Literatur (vgl. Ziekow in Ziekow/Völlink, Vergaberecht, 4. Auflage 2020, § 127 GWB, Rn. 46 f.).

Bei der hier verwendeten „Medianmethode“ beeinflussen hingegen nicht die vor der Angebotsabgabe bekannt gemachten objektiven Kriterien, sondern das Angebotsverhalten der Mitbieter die jeweilige Güte des Angebots der Bieter, die ihre Angebote gleichermaßen in Unkenntnis objektiver Kriterien abgeben. Das Niveau der Angebotsausprägung, das die höchste Punktzahl erzielt, wurde Bietern und Vergabestelle somit erst nach Angebotsöffnung durch die eingegangenen Angebote offenbart.

III. Gut gedacht, schlecht gemacht. Die Notwendigkeit einer Markterkundung

Die Idee, die diesem Vorgehen zu Grunde liegt, kann durchaus als innovativ bezeichnet werden, da die Vergabestelle für den genauen Umfang der Arbeiten im Zweifel selbst keinen guten Anhaltspunkt hatte. Allerdings ist die Ableitung von „Bestwerten“ hinsichtlich ebendieses Grades der Leistungserbringung keinesfalls auf Basis von Mittelwerten auf der Stufe der Wertung zu verorten. Spätestens mit Veröffentlichung der Ausschreibung muss für alle Bieter transparent sein, welche Leistung in welchem Umfang zu erbringen ist.

Das beschriebene Vorgehen könnte daher allenfalls im Rahmen der Markterkundung zur Anwendung kommen, um daraus auf plausible Multiplikatoren des Preisblattes zu schließen.

IV. Angebotsübergreifende Vergleiche im Zuge der Wertung

Nicht die bloße Verwendung eines Medians oder einer vergleichbaren Richtgröße, sondern das Heranziehen des Medians als Ersatz für ein hinreichend detailliertes Leistungsverzeichnis oder für die vorzugebende Häufigkeit der Leistung (die etwa über die explizite Angabe von Multiplikatoren im Preisblatt erfolgen müsste) ist somit zu beanstanden.

Mediane und auch andere aus der Summe der eingegangenen beziehungsweise berücksichtigten Angebote abgeleiteten Werte kommen an anderer Stelle im Rahmen der Angebotswertung durchaus zum Einsatz, jedoch nicht als Ersatz für eine nicht ausreichend Bestimmung der zu beschaffenden Leistung, sondern als „Richtgröße“ oder „Referenzwert“ im Rahmen der Gegenüberstellung zu wertender Angebote.

Zahlreiche Wertungsmethoden arbeiten mit einem angebotsübergreifenden Vergleich. So wird beispielsweise bereits bei der Umrechnung des Preises in Preispunkte durch die lineare Interpolation ausgehend vom niedrigsten Preis aller Angebots (und beispielsweise bis zu einem fiktiven doppelten davon) interpoliert.

Auch andere Wertungsmethoden wie die Preis-Kriterien-Gewichtungen, betrachten und bewerten, wie stark ein Angebot von einer Best-Ausprägung abweicht. Mithin hängt die Frage, ob und insbesondere wie viele Punkte einem Angebot zugesprochen werden, oftmals sehr wohl von der Ausprägung beziehungsweise der „Güte“ der anderen Angebote ab.

V. Die Medianmethode als Wertungsmethode

Im Falle der im Vergabemanagementsystem auswählbaren Medianmethode (nicht zu verwechseln mit oben beschriebenem Vorgehen), werden statt Bestwerten die Mediane hinsichtlich der Preise und der Leistungspunkte aller Angebote gebildet und Abweichungen gegenüber diesen Medianen bewertet. Der Grundgedanke ist hier, über das Hinzuziehen der Mediane Ausreißern vorzubeugen, die durch Angebote mit besonders niedrigem Preis oder besonders hoher Leistung entstehen könnten und die geeignet sind, die Wertung zu verzerren.

Hierbei werden einem Angebot umso mehr Punkte zugesprochen, je weiter es oberhalb des Medians der Leistungspunkte liegt oder je weiter es unterhalb des Preismedians liegt und – vice versa – entsprechend weniger Punkte, wenn es unterhalb des Medians der Leistungspunkte beziehungsweise oberhalb des Medians der Preise liegt.

Der Unterschied der hier abgebildeten Medianmethode zu der von der Vergabekammer des Bundes beanstandeten Verwendung des Medians besteht darin, dass die Medianmethode die Mediane als Richtgrößen nutzt, die lediglich zur mathematischen Abbildung der Wertung herangezogen werden, nicht aber zur Definition von Sollgrößen der Leistungserbringung.

Angebote, deren Ausprägungen hinsichtlich der Preis- oder Leistungsseite schlechter als der Median ausfallen, werden schlechter gewertet. Fallen die Kriterienausprägungen hingegen besser aus, werden diese Angebote besser als der Median bewertet. Den Bietern ist dabei zu jeder Zeit klar, dass ein möglichst hohes Niveau der Leistungserbringung gefordert wird und worin dieses Niveau besteht; eine Unterschreitung führt zur Ab-, eine Überschreibung zur Aufwertung eines Angebots.

Dieses Vorgehen ist ausschließlich aus technischen beziehungsweise mathematischen Gründen erforderlich, nämlich um die Preis- und Leistungsseite eines Angebots auf Basis der mit diesen Richtwerten ermittelten Erfüllungsgraden gegenüberstellen und gleichzeitig mit gewichten zu können.

Zwar stellen die erst nach Angebotsöffnung ermittelbaren Mediane auch hier eine zuvor unbekannte Größe im Rahmen der Wertung dar, die die Angebotswertung beeinflussen und unter Umständen verzerren kann; die Definition von Leistungssollgrößen ist hiervon aber unbenommen, da uneingeschränkt gilt: je mehr, desto besser, je günstiger, desto besser. Bei der Medianmethode wird das jeweilige Niveau der Leistungserbringung in Form der Leistungspunktzahl für die verschiedenen Angebote nur vor dem Hintergrund eines über alle gültigen Medians bewertet, der Median gibt das beste Niveau aber nicht vor.

VI. Besonderheiten der Medianmethode

Gerade bei der Medianmethode besteht allerdings die Gefahr, dass abgeschlagene Angebote den herangezogenen Richtwert (den Medianwert) so stark beeinflussen, dass sich die Rangfolge erstplatzierter Angebote verändert. Eine solche auch als Flipping-Effekt bezeichnete Verschiebung der Rangfolge kann vor allem dann auftreten, wenn nur wenige Bieter ein Angebot abgegeben haben.

Der für die die Bildung von „Erfüllungsgraden“ herangezogene Mittel- und Vergleichswert ist bei nur wenigen eingegangenen Angeboten im Zweifel wenig aussagekräftig, so dass sich die Wertung bereits in Abhängigkeit der Preis- oder Leistungsausprägung weniger Bieterangebote (oder sogar eines einzelnen Bieterangebots) verändern kann.

Im untenstehenden Beispiel verschiebt sich die Rangfolge zwischen B und C in Abhängigkeit davon, welcher Median – und damit welcher relative Abstand zum Mittelwert der einzelnen Angebote – jeweils durch das in jedem Fall abgeschlagene Angebot A vorgegeben wird:

Ist also absehbar, dass nur wenige Bieter ein Angebot abgeben werden, sollte auf den Einsatz von Wertungsmethoden mit angebotsübergreifenden Vergleichen verzichtet werden, da in einer solchen Situation die Lösung aus entscheidungstheoretischer Sicht weniger robust, also anfälliger für den Einfluss eines im Rahmen des Angebotsvergleichs verwendeten Referenzwert ist.

Somit wird zwar nicht der Grundsatz verletzt, dass das Angebot eines Bieters umso besser gewertet wird, je besser seine Kriterienausprägungen sind, oder dass dem Bieter die gewünschte Zielrichtung bekannt sein muss, aber die konkrete Wertung der Angebotsausprägung variiert in Abhängigkeit von den eingegangenen Angeboten.

Dr. Stefan Krusenbaum schult zu Wertungsmethoden regelmäßig in der cosinex Akademie. Die nächsten Seminare:

• 6. Juni: Grundlagen und Auswahl geeigneter Wertungsmethoden »

VII. Hinweise für die Praxis

Aus Mittelwerten aller Angebote abgeleitete Leistungsoptima beziehungsweise Sollwerte sind unzulässig, da es allein der Vergabestelle obliegt, die Leistungsbeschreibung und die damit einhergehende Wahrnehmung der optimalen Angebotsausprägung durch den Bieter vorzunehmen. Dieser muss mindestens im Sinne eines „je… desto – Satzes“ in die Lage versetzt werden, für die Angebotsabgabe die von der Vergabestelle erwartete Zielrichtung der Leistungserbringung zu erkennen.

Folgerichtig hat die Vergabekammer des Bundes klargestellt, dass zur Ermittlung des Angebots mit dem besten Preis-Leistungs-Verhältnis eine Relation des zu zahlenden Preises mit dem Grad der Erfüllung der durch den öffentlichen Auftraggeber festgelegten und nicht durch einen Medien ermittelten Leistungskriterien vorzunehmen ist. Die Wertung durch den Auftraggeber darf nicht beliebig sein, sondern hat sich an die im Vorhinein festgelegten und bekanntgemachten Zuschlagskriterien und deren Gewichtung zu halten.

Gleichwohl – und mit dem obigen unzulässigen Vorgehen nicht zu verwechseln – wird im Rahmen vieler Wertungsmethoden ein Referenzwert genutzt, um den Angebotsvergleich vorzunehmen und Angebote vor dem Hintergrund dieses für sie gleichen Referenzwerts zu bewerten. Somit fließen auch hier Größen in die Wertung ein, die der Vergabestelle und den Bietern erst im Zuge der Angebotsöffnung offenbar werden. Mithilfe eines solchen Referenzwertes, etwa eines Bestwerts hinsichtlich des Preises und/oder hinsichtlich der Leistungspunkte oder ersatzweise mithilfe eines Mittelwerts gelingt es mathematisch, für Preis- oder Leistungsseite Verhältnisse beziehungsweise Erfüllungsgrade zu berechnen und so zu bewerten, wie stark die Ausprägungen eines Angebots in Relation (= im Verhältnis) von diesen Referenzwerten (positiv oder negativ) abweichen.

Nur derart, nämlich in Relationen ausgedrückt („Angebot A ist 10 % teurer als das günstigste Angebot B“ – „Angebot B ist um 20 % leistungsschwächer als Angebot A“) gelingt es, Preis- und Leistungsseite hinsichtlich ihrer verschiedenen Dimensionen miteinander vergleichbar zu machen und gleichzeitig mit individuellen Gewichten („60 % Preisseite – 40 % Leistungsseite“) zu versehen.

Die Verwendung von solchen angebotsübergreifenden Vergleichen – seien es Best- oder Mittelwerte, die als Referenzwerte hinzugezogen werden – ist gleichwohl auch hier mit Vorsicht zu genießen, da Extremausprägungen die Wertung der Angebote verzerren können. Wenn sich abzeichnet, dass sich nur wenige Bieter an einer Ausschreibung beteiligen werden, sind Vergabestellen daher gut beraten, auf Wertungsmethoden, die mit angebotsübergreifenden Vergleichen arbeiten, gänzlich zu verzichten. In solchen Fällen können sich Richtwertmethoden wie die „einfache Richtwertmethode“ als geeignete Alternative herausstellen.

Titelbild: BCFC – shutterstock.com