MCP-Kompatibilität reproduzierbar testen: der kleinste belastbare Ablauf

Ein erfolgreicher Toolaufruf beweist nicht die vollständige Kompatibilität eines Clients und Servers. Er zeigt nur, dass ein bestimmter Pfad in einer bestimmten Konfiguration funktioniert hat.

Ein belastbarer Test hält deshalb Umgebung, Eingaben, erwartete Antwort und negative Fälle fest.

Testkopf vor dem ersten Request

Notiere:

• MCP-Spezifikation,
• Clientname und Version,
• Servername, Version oder Deploy-ID,
• Transport,
• Authentifizierungsmodus,
• Produktplan und relevante Limits,
• Testdatum und Region,
• Fixture-Version.

Ohne diesen Kopf lässt sich ein späteres Ergebnis nicht sinnvoll wiederholen.

Der minimale positive Pfad

Für 2026-07-28 umfasst ein kleiner Test mindestens:

1. erwartete Serverinformationen oder Discovery,
2. Capability- oder Toolliste,
3. Schema eines ausgewählten Tools,
4. gültigen Aufruf mit kleiner Datenmenge,
5. Prüfung der strukturierten Antwort,
6. Zuordnung von Kosten, Datenstand und Evidenz.

Die fachliche Behauptung bleibt eng. Wenn ein Keyword-Tool funktioniert, ist damit weder ein Crawl-Tool noch OAuth-Erneuerung geprüft.

Negative Pfade sind Pflicht

Ein Sicherheits- und Kompatibilitätstest muss kontrollierte Fehler enthalten:

• fehlende oder falsche Protokollversion,
• ungültiges oder abgelaufenes Token,
• nicht autorisierter Workspace,
• ungültige Eingaben,
• Überschreitung von Zeilen- oder Budgetlimit,
• unbekanntes Tool,
• Timeout oder abgebrochene Task.

Der Test prüft nicht nur, dass ein Fehler kommt. Er prüft, ob der Server ohne Datenleck, Teilwirkung oder unklare Abrechnung scheitert.

Ergebnisstatus ohne Marketing

Verwende präzise Statuswerte:

Reproduziert bedeutet, dass der dokumentierte Fixture-Pfad mit festgehaltenen Versionen erfolgreich lief. Teilweise bedeutet, dass einzelne Prüfschritte abweichen. Fehlgeschlagen nennt den konkreten Blocker. Veraltet bedeutet, dass Version oder Prüffrist den alten Befund entwertet.

„Kompatibel“ ohne Zusatz ist zu weit.

Stale-Regel und Korrektur

Ein neues Serverrelease, eine relevante Spezifikationsänderung oder ein geänderter Authentifizierungsweg kann den Befund veralten lassen. Auch ohne Release sollte eine feste Prüffrist gelten.

seo-mcp.de veröffentlicht derzeit nur einen Fixture-Vertrag, noch keinen reproduzierten Anbieter-Laufzeitbenchmark. Anbieterzeilen bleiben deshalb als dokumentationsgeprüft gekennzeichnet.

Veröffentlichbare Evidenz

Veröffentliche keine Tokens, privaten Endpoints oder Kundendaten. Für die Reproduktion reichen bereinigte Requestdaten, Schema, relevante Antwortfelder, Versionen, Dauer, Kostenklasse und Fehlerstatus.

Das Ziel ist nicht, möglichst viele grüne Haken zu erzeugen. Das Ziel ist, dass ein zweites Team denselben begrenzten Pfad prüfen und dieselbe Schlussfolgerung nachvollziehen kann.