KI-Software für Ausschreibungen im Pilot testen: Ein Testplan mit eigenen LVs

Transparenzhinweis: Dieser Leitfaden wird von Scalera veröffentlicht. Angaben zu Scalera stammen von unserer Website, Angaben zu Regulierung und Methodik aus den Veröffentlichungen der jeweiligen Institutionen. Korrekturen nehmen wir gerne unter info@scalera.ai entgegen.

Warum sollten Sie KI-Software mit eigenen LVs testen?

Weil Zeitersparnisse aus Referenzen für andere Sortimente, Formate und Teams gelten. Wie schnell eine Software gute Produkttreffer liefert, hängt von Ihrem Sortiment ab; das schreibt auch Scalera in der eigenen FAQ (Scalera, FAQ).

Scalera-Kunden sparen laut FAQ meist 60–80 % Zeit bei Ausschreibungen (Scalera, FAQ). Ein Pilot klärt, welcher Wert in Ihrem Betrieb erreichbar ist und wo die Grenzen liegen. Welche Anbieter es gibt und welche Fragen Sie ihnen vorab stellen sollten, zeigt der Vergleich der KI-Assistenten für Leistungsverzeichnisse.

Was unterscheidet eine Demo von einem Pilot?

Eine Demo zeigt in kurzer Zeit, wie die Software arbeitet; ein Pilot zeigt über mehrere Wochen, was sie im Tagesgeschäft leistet. Beides hat seinen Platz, aber nur der Pilot liefert belastbare Zahlen für eine Entscheidung.

Eigene Einordnung. Bei Scalera können Sie bereits im Demo-Termin relevante Positionen aus Ihren eigenen LVs extrahieren lassen (Scalera, Demo).

Wie stellen Sie ein aussagekräftiges Testset zusammen?

Nehmen Sie einen Querschnitt echter Anfragen der letzten Monate, nicht die saubersten Beispiele. Das Testset sollte die Vielfalt abbilden, mit der Ihr Innendienst tatsächlich arbeitet:

• Formate: digitale und gescannte PDFs, GAEB-Dateien, Excel/CSV oder XML und Anfragen direkt im E-Mail-Text. Diese Dokumenttypen verarbeitet Scalera laut FAQ (Scalera, FAQ).
• Sprachen und Märkte: Wenn Sie in mehreren Ländern anbieten, gehören Anfragen in allen relevanten Sprachen dazu.
• Umfang: kurze Anfragen mit wenigen Positionen ebenso wie umfangreiche Leistungsverzeichnisse.
• Sortiment: Standardartikel, konfigurierbare Produkte und Positionen, die mit einem Wettbewerbsprodukt ausgeschrieben sind.
• Grenzfälle: unklare oder unvollständige Spezifikationen sowie Pläne mit technischen Angaben.

Halten Sie das Testset schriftlich fest und verwenden Sie es unverändert für jeden Anbieter, den Sie testen. Nur so sind die Ergebnisse vergleichbar. Warum Formate wie GAEB, ÖNORM und NPK die Bearbeitung so stark beeinflussen, erklärt der Beitrag GAEB, ÖNORM, NPK.

Welche Kennzahlen sollten Sie im Pilot messen?

Vier Kennzahlen reichen für die meisten Piloten. Wichtig ist, dass Sie sie vor und während des Pilots auf dieselbe Weise erfassen:

1. Bearbeitungszeit: von der geöffneten Anfrage bis zum prüfbereiten Angebotsentwurf, in Minuten pro Anfrage.
2. Vollständigkeit: Anteil der für Sie relevanten Positionen, die die Software erkannt hat.
3. Trefferquote: Anteil der Produktvorschläge, die Ihr Team ohne Änderung übernimmt.
4. Korrekturaufwand: Zeit und Anzahl der Eingriffe, bis ein Angebot stimmt.

Vollständigkeit und Trefferquote: zwei verschiedene Fragen

In der Statistik heissen die beiden Werte Recall und Precision. Recall misst, welcher Anteil der tatsächlich relevanten Fälle gefunden wurde; Precision misst, welcher Anteil der gefundenen Fälle tatsächlich stimmt (Google for Developers). Auf ein LV übertragen: Eine Software kann fast alle Positionen finden und trotzdem oft das falsche Produkt vorschlagen, oder umgekehrt.

Werten Sie beide Werte deshalb getrennt aus, und zwar je Produktgruppe. Ein Durchschnitt über alles verdeckt, wo die Software stark ist und wo Ihre Daten nachgebessert werden müssen. Wie Sie Produktdaten dafür aufbereiten, zeigt der Beitrag Produktdaten für Ausschreibungen.

Unsichere Treffer gesondert zählen

Unsichere Treffer kennzeichnet Scalera mit Vertrauenswerten und legt sie Ihrem Team zur Kontrolle vor (Scalera, FAQ). Zählen Sie im Pilot, wie oft markierte Treffer korrigiert werden mussten und wie oft ein nicht markierter Treffer falsch war. Der zweite Wert ist wichtiger, weil er zeigt, ob sich Ihr Team auf die Markierung verlassen kann.

Wie messen Sie den Ausgangswert vor dem Start?

Erfassen Sie vor dem Pilot für dieselben Anfragetypen, wie lange die Bearbeitung heute dauert und wie viele Korrekturen nach der Abgabe nötig werden. Schätzungen aus dem Gedächtnis sind dafür zu ungenau.

Ein einfaches Protokoll reicht: Anfrage, Format, Anzahl Positionen, Start- und Endzeit, Bearbeiter. Wie die Messung mit der Stoppuhr zeigt, wo heute Zeit verloren geht, beschreibt der Webinar-Recap. Welche Kosten in der manuellen Bearbeitung stecken, zeigt der Beitrag Die versteckten Kosten manueller Ausschreibungsbearbeitung.

Wie lange sollte ein Pilot dauern?

So lange, bis genug typische Anfragen durchgelaufen sind und die Software aus Ihren Korrekturen lernen konnte. Eine feste Wochenzahl gibt es nicht, weil Anfragevolumen und Sortimente stark schwanken.

Scalera lernt mit jedem abgeschlossenen Angebot (Scalera, FAQ), liefert oft schon ab dem ersten Angebot nützliche Vorschläge und empfiehlt je nach Komplexität des Portfolios 50–150 abgeschlossene Angebote für optimale Ergebnisse (Scalera, FAQ englisch). Werten Sie deshalb die ersten und die letzten Pilotwochen getrennt aus. So sehen Sie, ob sich die Trefferquote entwickelt.

Begrenzen Sie den Umfang auf eine Produktlinie oder einen Standort. Laut Scalera beginnen viele Kunden mit den Produktlinien, die das grösste Volumen haben oder am stärksten standardisiert sind, und erweitern erst, wenn der Nutzen belegt ist (Scalera, FAQ englisch).

Wer gehört ins Pilotteam?

Die Menschen, die täglich Angebote erstellen, plus je eine Person für Produktdaten, IT und Entscheidung. Ohne die Bearbeiterinnen und Bearbeiter aus dem Innendienst misst der Pilot die Software, aber nicht den Alltag.

• Innendienst: bearbeitet die Anfragen mit der Software und dokumentiert Korrekturen.
• Produktmanagement: schliesst Datenlücken, die im Pilot sichtbar werden.
• IT: stellt die Produktdaten bereit. Bei Scalera können Sie sie manuell hochladen oder per Schnittstelle anbinden (Scalera, FAQ); Details im Beitrag ERP-Integration.
• Leitung Vertrieb oder Innendienst: legt die Kriterien fest und entscheidet am Ende.

Auf Anbieterseite begleitet bei Scalera das Customer-Success-Team von der Implementierung über die Tests bis zu Schulungsunterlagen in der Software Academy (Scalera, FAQ englisch).

Welche Pflichten und Rahmenwerke sollten Sie kennen?

Für den Einsatz von KI im Team gibt es in der EU eine verbindliche Pflicht zur KI-Kompetenz. Für die Struktur des Tests hilft ein freiwilliges Rahmenwerk aus den USA.

KI-Kompetenz nach der EU-KI-Verordnung

Anbieter und Betreiber von KI-Systemen müssen Massnahmen ergreifen, um die KI-Kompetenz ihrer Mitarbeitenden zu fördern. Diese Pflicht aus Artikel 4 der KI-Verordnung gilt seit dem 2. Februar 2025 (Europäische Kommission, KI-Verordnung).

Ein bestimmtes Kompetenzniveau schreibt Artikel 4 nach der Änderung durch den Digital Omnibus nicht vor, und eine Pflichtschulung in fester Form gibt es nicht. Die Kommission hält aber fest, dass es oft wenig wirksam ist, Mitarbeitende nur die Gebrauchsanleitung lesen zu lassen (Europäische Kommission, AI Literacy Q&A). Ein Pilot ist ein guter Zeitpunkt, um zu schulen, wie Vorschläge und Vertrauenswerte zu lesen sind.

Das NIST AI Risk Management Framework als Struktur

Das AI Risk Management Framework des US-amerikanischen NIST ist für die freiwillige Nutzung gedacht (NIST, AI RMF). Sein Kern besteht aus vier Funktionen: Govern, Map, Measure und Manage (NIST, AI RMF Core).

Für einen Pilot übersetzt: Verantwortung und Kriterien festlegen (Govern), Einsatzbereich und Testset abgrenzen (Map), mit wiederholbaren Tests messen (Measure) und über Einführung oder Anpassung entscheiden (Manage). Für Measure beschreibt das Rahmenwerk objektive, wiederholbare oder skalierbare Test- und Prüfprozesse.

Klären Sie vor dem Start auch, welche Daten Sie im Pilot teilen. Scalera nutzt private KI-Instanzen, und Ihre Daten trainieren keine öffentlichen Modelle (Scalera, FAQ).

Wie arbeiten Sie im Pilot mit dem Anbieter zusammen?

Vereinbaren Sie einen festen Rhythmus, etwa einen wöchentlichen Termin, in dem Sie falsche oder fehlende Treffer gemeinsam durchgehen. Ordnen Sie jeden Fehler einer Ursache zu: fehlende Produktdaten, unklare Anfrage oder Schwäche der Software.

Diese Zuordnung entscheidet, wer handeln muss. Fehlende Merkmale pflegt Ihr Produktmanagement, unklare Spezifikationen klären Sie mit dem Kunden, und Schwächen der Software gehören auf die Liste des Anbieters. Für unsichere Treffer sieht Scalera ausdrücklich vor, dass Ihr Team gezielt Zeit investiert oder beim Kunden nachfragt (Scalera, FAQ englisch).

«Scalera hat uns das Gefühl gegeben, dass wir und unsere Ideen wichtig sind.»
Marco Dürst, Geschäftsleitung, ACO

Wann ist der Pilot erfolgreich?

Wenn er die Kriterien erfüllt, die Sie vor dem Start festgelegt haben. Schreiben Sie diese Schwellen auf, sonst wird die Entscheidung im Nachhinein zur Geschmacksfrage.

Ein Entscheid kennt drei Ausgänge: einführen, mit angepasstem Umfang verlängern oder abbrechen. Typische Kriterien sind:

• Die Bearbeitungszeit pro Anfrage liegt um einen vorab definierten Anteil unter dem Ausgangswert.
• Vollständigkeit und Trefferquote erreichen in Ihren wichtigsten Produktgruppen die vereinbarten Werte.
• Nicht markierte Fehltreffer sind so selten, dass Ihr Team der Markierung vertraut.
• Das Team nutzt die Software im Alltag, ohne dass man es dazu anhalten muss.
• Der Weg der Produktdaten und der Ergebnisse in Ihre Systeme ist geklärt.

Für den internen Business Case übertragen Sie die gemessene Zeitersparnis auf Ihr Jahresvolumen. Wie Sie ihn aufbauen, zeigt der Leitfaden Angebote automatisieren.

Testplan: Ihr Pilot in sechs Schritten

1. Ziel und Kriterien festlegen: Welche Frage soll der Pilot beantworten, und ab welchen Werten führen Sie ein?
2. Umfang abgrenzen: eine Produktlinie oder ein Standort und ein klar benanntes Team.
3. Ausgangswert messen: Bearbeitungszeit und Korrekturen für dieselben Anfragetypen protokollieren.
4. Testset zusammenstellen: ein Querschnitt echter Anfragen nach Format, Sprache, Umfang und Sortiment.
5. Pilot durchführen: Kennzahlen laufend erfassen und Fehler wöchentlich mit dem Anbieter auswerten.
6. Auswerten und entscheiden: erste und letzte Wochen vergleichen, dann einführen, verlängern oder abbrechen.

Häufige Fragen zum Pilot für KI-Angebotssoftware

Sollte der Pilot parallel zur manuellen Bearbeitung laufen?

Für einen Teil der Anfragen ja. Bearbeitet Ihr Team einige Anfragen doppelt, sehen Sie direkt, ob Ergebnis und Zeit stimmen. Für alle Anfragen lohnt sich die Doppelarbeit nicht, dafür reicht der Vergleich mit dem Ausgangswert.

Wie viele Anfragen braucht ein aussagekräftiger Pilot?

Eine allgemeingültige Zahl gibt es nicht. Jedes wichtige Format, jede Sprache und jede Kernproduktgruppe sollte mehrmals vorkommen. Für optimale Produktvorschläge empfiehlt Scalera je nach Portfolio 50 bis 150 abgeschlossene Angebote (Scalera, FAQ englisch).

Kann ich schon in der Demo ein eigenes Leistungsverzeichnis verwenden?

Ja. Im Demo-Termin von Scalera lassen sich relevante Positionen aus Ihren eigenen LVs extrahieren. Belastbare Kennzahlen aus dem Tagesgeschäft ersetzt das aber nicht.

Was zählt im Pilot als Treffer?

Ein Produktvorschlag, den Ihr Team ohne Änderung ins Angebot übernimmt. Wählt jemand eine der Alternativen, die die KI zusätzlich anbietet, zählen Sie das getrennt: Die richtige Lösung war dann dabei, aber nicht an erster Stelle.

Kann ich mehrere Anbieter gleichzeitig testen?

Ja, wenn alle dasselbe Testset und dieselben Kennzahlen erhalten. Sonst vergleichen Sie unterschiedliche Aufgaben. Eine Übersicht der Anbieter bietet der Vergleich der KI-Assistenten für Leistungsverzeichnisse.

Braucht das Pilotteam eine KI-Schulung?

Eine Pflichtschulung in fester Form schreibt die EU-KI-Verordnung nicht vor. Anbieter und Betreiber von KI-Systemen müssen aber Massnahmen zur KI-Kompetenz ergreifen. Praktisch heisst das: Erklären Sie dem Team vor dem Start, wie Vorschläge, Alternativen und Vertrauenswerte zu lesen sind.

Wer sollte am Ende über die Einführung entscheiden?

Am besten die Person, die vor dem Start die Kriterien festgelegt hat, meist die Leitung von Vertrieb oder Innendienst. Die Erfahrungen des Teams, das täglich anbietet, gehören in die Entscheidung.

Was passiert nach einem erfolgreichen Pilot?

Sie weiten den Einsatz schrittweise auf weitere Produktlinien oder Standorte aus und binden Ihre Systeme fester an. Wie die Anbindung an ERP, CRM und PIM funktioniert, beschreibt der Beitrag ERP-Integration für Ausschreibungen und Angebote.

Nächste Schritte

• Legen Sie Ziel, Umfang und Entscheidungskriterien schriftlich fest, bevor Sie Anbieter kontaktieren.
• Messen Sie den Ausgangswert für Ihre häufigsten Anfragetypen.
• Stellen Sie ein Testset aus echten Anfragen zusammen und nutzen Sie es für jeden Anbieter.
• Lassen Sie sich im Demo-Termin zeigen, wie Scalera Ihre eigenen LVs verarbeitet.
• 150+ Unternehmen arbeiten bereits mit Scalera. Demo buchen