Nachdem der erste Teil der Beitragsreihe einen Einstieg in die Thematik der Angebotswertung gegeben und beleuchtet hat, wann und wie der Preis als alleiniges Wertungskriterium geeignet ist, befasst sich der zweite Teil mit der Fragestellung, was beachtet werden sollte, wenn sowohl Preis- als auch Leistungskriterien bei der Wertung zu berücksichtigen sind. Auch hier bietet das cosinex Vergabemanagementsystem eine Reihe geeigneter Wertungsmethoden zur Auswahl an, von denen in diesem Teil der Beitragsreihe diejenigen näher vorgestellt werden, bei denen die Vergabestelle selbst festlegt, zu welchen prozentualen Anteilen Preis und Leistungskriterien in die Wertung einfließen sollen. Aber auch für Vergabepraktiker, die noch nicht mit dem cosinex Vergabemanagementsystem arbeiten, gibt der Beitrag einen fundierten Überblick über diese Methoden.
Der Autor
Dr. Stefan Marinus Krusenbaum ist promovierter Wirtschaftswissenschaftler und verantwortet das Controlling der cosinex. Der der Experte für Wertungsmethoden bietet das beliebte Seminar Grundlagen und Auswahl geeigneter Wertungsmethoden in der cosinex Akademie an.
Alle Teile der Reihe
- Teil 1 befasst sich neben einer Einführung mit der Wertungsmethode niedrigster Preis.
- Teil 2 gibt einen Überblick über die Methoden der Wertungsklasse Preis-Kriterien-Gewichtungen.
- Teil 3 analysiert die Wertungsklasse der Richtwert-Methoden.
- Teil 4 stellt weitere, im Bereich des öffentlichen Auftragswesens noch nicht gängige, Wertungsmethoden vor.
Wie viel Prozent von was? Preis/Kriterien-Gewichtungen
Wenn hinsichtlich mehrerer Ziel- bzw. Zuschlagskriterien eine möglichst gute Erfüllung angestrebt werden soll, da die Vergabestelle das Leistungsverzeichnis inhaltlich nicht soweit eingrenzen kann oder will, dass eine ausschließliche Wertung nach dem Preis zulässig bzw. möglich ist, muss auf den vergaberechtlichen Regelfall zurückgegriffen werden: die Wertung und Gegenüberstellung verschiedener Kriterien.
Hierfür gibt es grundsätzlich zwei Gruppen von Wertungsmethoden: Die Vergabestelle kann einerseits das Verhältnis von Preis und Leistungskriterien selbst festlegen (Gruppe 1) oder andererseits Preis und Leistungskriterien in direkten Bezug zueinenander setzen (Gruppe 2) und somit auf eine selbst vorgenommene Gewichtung von Preis und Leistung verzichten. Dieser Teil der Reihe setzt sich mit den Methoden der Gruppe 1 auseinander. Im dritten Teil geht es um die Ansätze der Gruppe 2.
Die Hinzunahme von Leistungskriterien
Existieren mehrere qualitative Kriterien, so werden diese häufig in Punktbewertungsverfahren oder mittels Schulnotensystemen einander gegenübergestellt und zu einer Leistungspunktzahl aggregiert, die anschließend dem Preis des Angebots gegenübergestellt wird. Bei dieser Grundkonzeption ist in mehrfacher Hinsicht Vorsicht geboten: Zunächst darf natürlich bei der Angabe von Leistungskriterien im Kriterienbaum kein (weiteres) Preiskriterium angelegt werden, da dies einer doppelten Einbeziehung des Preises gleichkäme. Daher sieht unser Vergabemanagementsystem an dieser Stelle eine strikte Trennung vor. Darüber hinaus ist darauf zu achten, dass die Trennung von Eignungs- und Zuschlagskriterien eingehalten wird. Gerade bei den Leistungskriterien kann rasch die Versuchung entstehen, “das Mehr an Eignung“ zu berücksichtigen, was vergaberechtlich nach wie vor grundsätzlich unzulässig ist.
Sowohl bei der Angabe qualitativer Eignungskriterien, als auch bei der Auswahl qualitativer Zuschlagskriterien ist in besonderem Maße darauf zu achten, dass diese hinreichend präzise beschrieben werden. Ohne die Diskussion um die Schulnotenrechtsprechung wieder auferstehen zu lassen, muss jeder Bieter erkennen können, worauf es der Vergabestelle in Bezug auf die qualitativen Zuschlagskriterien ankommt. Beispielsweise genügt die bloße Wahl des umweltbezogenen Kriteriums „Energieeffizienz“ nicht. Hier wäre zumindest anzugeben, wie die Vergabestelle die Energieeffizienz bemisst.
Das Vergabemanagementsystem bietet für die vergleichende Gegenüberstellung der (aus einem oder mehreren qualitativen Leistungskriterien ermittelten) Leistungspunktzahl und dem Preis sogenannte Preis/Kriterien-Gewichtungen an.
Auf den Vergleichswert kommt es an
Aus mathematischer Sicht wird bei Preis/Kriterien-Gewichtungen die anhand von Leistungskriterien zu ermittelnde Leistungspunktzahl des Angebots (wahlweise absolut oder in Relation zu den Leistungspunktzahlen der übrigen Angebote) und andererseits der relative Angebotspreis gewichtet in die Wertung einbezogen. In der einfachsten Form, der Einbeziehung der absoluten Leistungspunktzahl des Angebots und des relativen Preises, führt dies zu folgender Formel:
Um die oben dargestellte Preis-Quotient-Methode sinnvoll anwenden zu können, benötigt der Vergabepraktiker zwei Informationen: Zum einen muss für die Festlegung der Gewichtung bekannt sein, ob eher der Preis oder die sonstigen Leistungskriterien bei der Auswahl des Angebots eine Rolle spielen sollen. Zum anderen muss der ungefähre Rahmen abgeschätzt werden können, in dem sich der Preis der eingehenden Bieterangebote bewegen wird.
Bezüglich der Gewichtung des Preiskriteriums ist der grundsätzliche Gedanke des Vergaberechts, das Wirtschaftlichkeitskriterium, zu beachten. Dies entspricht auch den Vorgaben, wie sie in der Bundeshaushaltsordnung, der Landeshaushaltsordnung oder anderen haushaltsrechtlichen Bestimmungen niedergelegt sind. Zur Gewährleistung der Wirtschaftlichkeit muss der Preis demzufolge immer ein führendes Kriterium sein. Nun ist gerade bei Ausschreibungen von geistig-schöpferischen Leistungen (Kunst am Bau, Werbestrategie, etc.) das Preiskriterium von eher untergeordneter Bedeutung, bei standardisierten Angeboten bzw. homogenen Gütern und einer hinreichend präzisen Beschreibbarkeit durch das Leistungsverzeichnis muss dem Preis dagegen ein höheres Gewicht zugesprochen werden. Grundsätzlich wird den Vergabestellen dabei ein großer Gestaltungsspielraum hinsichtlich der Wahl von Kriterien und deren Gewichtung, bei der Berechnung der Leistungspunktzahl sowie bei der Gewichtung der Leistungspunktzahl gegenüber dem Preis zugestanden. Die Wertungskriterien dürfen allerdings nicht diskriminierend, sondern müssen sachlich begründbar sein und mit dem Auftragsgegenstand im Zusammenhang stehen.
Das Wissen um das grundsätzlich zu erwartende Preisniveau bzw. -spektrum der eingehenden Angebote ist von Bedeutung, da bei der Ermittlung der beschriebenen Wertungskennzahl ein Vergleich sämtlicher zulässiger Angebote bzw. die Einbeziehung des niedrigsten aller Preise erfolgt. Das Vorhandensein eines Ausreißers mit sehr niedrigem Preis kann also dazu führen, dass die Wertung des Preises nur aufgrund des großen Abstands zum niedrigsten Angebotspreis schlecht ausfällt, obwohl sie für sich genommen gut sein sollte. Möglich ist auch, dass sich mehrere Angebote bezüglich der Bewertung des Preises aufgrund des jeweils großen Abstands zu einem Ausreißer kaum voneinander unterschieden, obwohl sie untereinander betrachtet bereits größere Unterschiede aufweisen. Hierbei hilft, dass auch unter vergaberechtlichen Gesichtspunkten Angebote mit ungewöhnlich niedrigen Preisen nach § 60 VgV (bzw. für den Unterschwellenbereich § 44 UVgO) unter gewissen Voraussetzungen auszuschließen sind.
Zu beachten ist bei der oben beschriebenen Wertungsmethode, dass die Bewertung des Preises (der Klammerausdruck) nie den Wert 1 überschreiten, sondern allenfalls niedriger ausfallen kann. Für das Angebot mit dem niedrigsten Preis nimmt der hintere Teil der Formel (niedrigster Angebotspreis / Preis des betrachteten Angebots) genau den bestmöglichen Wert 1 an. Somit wird maximal das Gewicht des Preises zur Wertungskennzahl addiert. Um zu kompensieren, dass durch den vorderen Teil des Terms eine Leistungspunktzahl des Angebots einbezogen wird, die absolut so groß ist, dass es zu Verzerrungen kommt, wird der hintere Teil des Terms zusätzlich auf Basis der bestmöglichen Leistungspunktzahl skaliert. Trotzdem kann es zu Verzerrungen der eigentlich gewünschten Gewichtung kommen, da nur die Bewertung des hinteren Formelteils, der den Preis adressiert, sowohl vom niedrigsten Preis als auch von der besten Leistungspunktzahl und damit von den Ausprägungen anderer Angebote abhängt. Die Gewichtung bezieht sich damit insgesamt einerseits auf die absolute Leistungspunktzahl, andererseits auf ein skaliertes Verhältnis. Sinnvoll erscheint daher, anstelle einer Skalierung auch bei der Leistungspunktzahl des Angebots maximal den Wert 1 zu vergeben und mit einem Gewicht zu multiplizieren.
Erreicht werden kann dies z.B. bei der Anwendung der Best-Angebots-Quotienten-Methode, bei der auch die Leistungspunktzahl des Angebots relativ, d.h. in Relation zur besten vorhandenen Leistungspunktzahl aller übrigen Angebote, in die Berechnung eingeht.
Da hier – anders als beim Preis – ein möglichst hoher Wert positiv zu bewerten und dem diesbezüglich besten Angebot der Wert 1 zuzuweisen ist, steht die konkrete Ausprägung der Leistungspunktzahl des betrachteten Angebots im Zähler des Bruchs und der Vergleichswert (beste vorhandene Leistungspunktzahl über alle Angebote) im Nenner. Es wird also bewertet, zu wie viel Prozent das betrachtete Angebot hinsichtlich der Leistungskriterien dem Besten entspricht. Die Kennzahl für den Preis bleibt unverändert und es wird weiterhin bewertet, wie sehr der niedrigste Preis prozentual gesehen mit dem Preis des betrachteten Angebots übereinstimmt.
Die bereits skizzierten Probleme finden sich auch in dieser Bewertungsmethode wieder, wenngleich das Niveau, zu dem qualitative Leistungskriterien und Preis einander gegenübergestellt werden, nun automatisch dadurch angeglichen wird, dass beide Seiten normiert betrachtet werden und nicht mittels einer Skalierung. Allerdings muss auch dann (subjektiv) festgelegt werden, zu welchem Anteil die Kriterien einbezogen werden sollen. Ferner besteht potentiell (zusätzlich zum angebotsübergreifenden Vergleich des Preises) auch bei den Leistungspunktzahlen das oben beschriebene Problem möglicher Ausreißer, die nun auch den ersten Teil der Formel, der die Gewichtung der Leistung adressiert, verzerren könnten. In den meisten Fällen erledigt sich dieses Problem dadurch, dass das Vergaberecht bezüglich der Leistungskriterien keine Einschränkungen bei besonders guten oder schlechten Angeboten analog zu § 60 VgV kennt, so dass es hier vergaberechtlich unproblematisch ist, ein besonders herausragendes bestes Angebot als Leistungsmaßstab in die Wertung der anderen Angebote einzubeziehen. Dies muss dem Vergabepraktiker bei der Auswahl dieser Wertungsmethode nur bewusst sein.
Eine weitere Möglichkeit der Gegenüberstellung von gewichteten Leistungskriterien und Preis besteht in der sogenannten gewichteten Richtwertmethode. Der Unterschied gegenüber der oben angegebenen Formel liegt darin, dass als Vergleichsmaßstab nicht der niedrigste Preis und/oder der beste Leistungswert angegeben werden, sondern ein bestimmter Richtwert. Hierfür kann z.B. ein Mittelwert wie der Median [1] über alle Angebotsausprägungen verwendet werden. Denkbar wäre anstelle des Medians auch das arithmetische Mittel oder ein vorab selbst vorgegebener Referenzwert.
Weil hier nicht mehr für jedes Angebot betrachtet wird, wie sehr der niedrigste Preis prozentual gesehen mit dem Preis des betrachteten Angebots übereinstimmt (je mehr desto besser), sondern vielmehr, wie der Preis des Angebots sich zum Mittelwert aller Angebotspreise verhält (je weniger, desto besser) geht die Bewertung des Preises nun als Subtraktion in die Bestimmung der Wertungskennzahl ein.
Die Medianmethode bietet sich an, wenn der genaue Sollwert hinsichtlich der Leistungskriterien nicht bekannt ist und es zusätzlich darum geht, zu beurteilen, wie weit sich ein Bieter von der Gesamtheit des Marktes unterscheidet, da hier relative Vergleiche nicht mehr zum Bestwert, sondern zu einem Mittelwert gezogen werden, der durch die Gesamtheit aller Angebote bestimmt wird. Vor allem, wenn eine Reihe heterogener Kriterien zur Bestimmung der Leistungspunktzahl herangezogen wurde, lässt sich besser bewerten, wo ein Angebot relativ gesehen zu den übrigen einzuordnen ist. Falls die Wertung eines Angebots unabhängig vom durch die vorliegenden Angebote definierten Medianwert erfolgen soll, bietet es sich an, einen externen Referenzwert heranzuziehen.
Sowohl bei einem durch die Angebote vorgegebenen Vergleichswert, als auch bei einer externen Einschätzung des Richtwertes besteht allerdings immer die große Gefahr, dass abgeschlagene Angebote den Richtwert so stark beeinflussen, dass sich die Rangfolge erstplatzierter Angebote verändert. Eine solche auch als Flipping-Effekt bezeichnete Verschiebung der Rangfolge lässt sich gerade bei der (gewichteten) Richtwertmethode mit Mittelwert (z.B. Median) in Ausschreibungen mit nur wenigen Bietern beobachten, in denen sich der für die Beurteilung herangezogene Mittel- bzw. Vergleichswert bereits in Abhängigkeit der Preis- oder Leistungsausprägung weniger Bieterangebote (oder sogar eines einzelnen Bieterangebots) verändern kann. Im untenstehenden Beispiel verschiebt sich die Rangfolge zwischen B und C in Abhängigkeit davon, welcher Median – und damit welcher relative Abstand zum Mittelwert – durch Angebot A vorgegeben wird. Da Angebot A sowohl für die Leistungspunktzahl, als auch für den Preis den Medianwert stellt, ändert sich dessen eigene Wertungskennzahl zudem nicht, obwohl im Beispiel der Preis dieses Angebots variiert.
Um Fehleinschätzungen vorzubeugen, sollte insbesondere die Medianmethode daher nur zum Einsatz kommen, wenn mit einem hohen Aufkommen von Bietern zu rechnen ist, sodass ein einzelnes Angebot den Median und damit die Lösungsrobustheit nicht signifikant beeinflusst. In Anlehnung an die beschriebene Problematik wird auch in der Unterlage für Ausschreibung und Bewertung von IT-Leistungen VI (UfAB VI) empfohlen, die Medianmethode vor allem bei Verhandlungsverfahren, bei welchen eine Reduzierung von Bietern bzw. Angeboten während des Verfahrens vorgesehen ist, nicht anzuwenden, da sich das Ausscheiden von Angeboten auf die Rangfolge der verbleibenden Angebote auswirken kann, ohne dass sich bei diesen die Leistung oder der Preis verändert haben.
Dr. Stefan Krusenbaum schult zu Wertungsmethoden regelmäßig in der cosinex Akademie. Die nächsten Seminare:
Für Mitarbeiter oder Entscheidungsgremien einer Vergabestelle besteht bei den in diesem Beitrag vorgestellten Wertungsmethoden die Notwendigkeit, eine korrekte Gewichtung zu finden. Vor allem in den Fällen, in denen Leistungskennzahlen nicht auf den Wert 1 normiert sind, wie bei der zuerst vorgestellten Preis-Quotient-Methode, aber auch bei der gewichteten Richtwertmethode, bei denen die Leistungs- und Preiswertung nicht auf eins normiert sind (da die Kriterien nicht mit der besten verfügbaren Ausprägung, sondern mit einem Medianwert verglichen werden), ist es wichtig, die Gewichtungsparameter so festzulegen, dass es nicht zu einer unerwünscht hohen oder niedrigen Bewertung kommt. Hinsichtlich der Wertung von Leistungskriterien lässt sich dieser Problematik vor allem durch eine ausreichende Anzahl an Kriterien vorbeugen, sodass punktuell unerwartet auftretende Ausreißer für sich genommen keinen großen Einfluss auf die aggregierte Leistungskennzahl ausüben. Um Preisausreißern bei der Wertung des Preiskriteriums vorzubeugen, empfiehlt es sich, die hier beschriebenen Methoden nur anzuwenden, wenn mit ausreichend vielen Angeboten zu rechnen ist oder starke Ausreißer hinsichtlich des Preises gemäß § 60 VgV ausgeschlossen werden können. Der Ausschluss weiterer Angebote, die zwar keine preislichen Ausreißer darstellen, bei denen aber andere Ausschlussgründe (z.B. §§ 123, 124 GWB) vorliegen, führt hingegen gerade bei der gewichteten Richtwertmethode (Medianmethode) dazu, dass sich die Zahl der zu berücksichtigenden Angebote weiter verringert, sodass das Risiko von nicht repräsentativen Referenzwerten steigt.
Für die ersten beiden Teile dieser Beitragsreihe lässt sich zusammenfassend folgende Matrix aufstellen, die die sinnvolle Anwendbarkeit verschiedener Bewertungsfaktoren in Bezug auf die Beschaffenheit der geplanten Ausschreibung noch einmal zusammenfasst. Es kann festgestellt werden, dass keine Wertungsmethode in jedem Fall uneingeschränkt anwendbar ist, sondern die Güte der Wertung davon abhängt, wie gut die Ausschreibungscharakteristika (z.B. hinsichtlich des Bieteraufkommens oder des gewünschten Preisniveaus) im Vorfeld eingeschätzt werden können. Zudem zeigt sich, dass die gewichtete Richtwertmethode der Bestangebots-Quotienten-Methode normalerweise unterlegen und nur dann sinnvoll ist, wenn der Abstand zum Median die Kriterienwertung (z.B. aufgrund eines erwarteten Ausreißers) besser als der Abstand zur bestmöglichen Lösung repräsentiert. Gleiches gilt für die einfache Preis-Quotient-Methode, die nur dann gegenüber der Best-Angebots-Quotienten-Methode den Vorzug bekommen sollte, wenn aufgrund von erwarteten Ausreißern keine Normierung der Leistungskennzahlen anhand der besten Kennzahl gewünscht ist.
Hinweise für die Praxis
Wenn mehrere Kriterien vorliegen, eine bestimmte Gewichtung dieser gewünscht ist und Preis- und Leistungsniveau der eingehenden Angebote vermutlich ähnlich ausfallen, d.h. diesbezüglich keine einzubeziehenden Ausreißer zu erwarten sind, kann der Vergabepraktiker auf Preis-Kriterien-Gewichtungen als Wertungsmethode zurückgreifen.
Je kleiner die Grundgesamtheit der zu erwartenden bzw. zu berücksichtigenden Anzahl von Angeboten ausfällt und je kleiner die Zahl der in eine Leistungspunktzahl eingeflossenen Leistungskriterien ist, umso weniger belastbar ist die Wertungskennzahl bzw. umso fehleranfälliger respektive unrobuster sind die hier vorgestellten Wertungsmethoden. Für den Fall, dass nur von einem reduzierten Bieterkreis ausgegangen werden kann, eignen sich die vorgestellten Methoden daher nur bedingt. Eine Fehleranfälligkeit ist auch in besonderem Maße gegeben, wenn nicht nachvollziehbar begründet werden kann, mit welchem Gewicht leistungsbezogene Kriterien und der Preis in die Wertung einfließen sollen oder die vorgenommene Gewichtung bei fehlender Normierung verzerrt wird.
Mit Verfahren, bei denen ebenfalls Leistungskriterien und Preise miteinander verglichen werden (aber auf eine selbst vorgenommene Angabe von Gewichtungen verzichtet werden kann) und deren Einsatzmöglichkeiten setzen sich die nächsten Teile der vierteiligen Reihe zur Auswahl der passenden Wertungskriterien und -methoden auseinander. Im nächsten Beitrag wird dementsprechend aufgezeigt, wann Kriterien-Preis-Verhältnisse sinnvoll verwendet werden können.
[1] Der Median ist der Wert, der bei einer der Größe nach sortierten Auflistung aller Werte an der mittleren (bzw. zentralen) Stelle steht. Ist die Anzahl der Werte ungerade, ist somit die mittlere Zahl der Median, bei einer geraden Zahl an Werten wird der Median meist als arithmetisches Mittel der beiden mittleren Zahlen (Unter- und Obermedian) gebildet.
Bildquelle: DDRockstar – fotolia.de
Alle Teile der Reihe
- Teil 1 befasst sich neben einer Einführung mit der Wertungsmethode niedrigster Preis.
- Teil 2 gibt einen Überblick über die Methoden der Wertungsklasse Preis-Kriterien-Gewichtungen.
- Teil 3 analysiert die Wertungsklasse der Richtwert-Methoden.
- Teil 4 stellt weitere, im Bereich des öffentlichen Auftragswesens noch nicht gängige, Wertungsmethoden vor.
