Incident-Playbook

Reaktionsverfahren für häufige Probleme.

Verbindungsprobleme

WebSocket-Verbindungsabbruch

Symptome: WebSocket-Verbindung unterbrochen, keine Nachrichten empfangen

Maßnahmen:

1. Implementieren Sie automatisches Wiederverbinden mit exponentiellem Backoff
2. Fragen Sie REST-Endpunkte ab, um verpasste Updates nachzuholen
3. Abonnieren Sie nach dem Wiederverbinden alle Kanäle erneut

Vorbeugung: Überwachen Sie den Verbindungsstatus und implementieren Sie eine robuste Logik für das Wiederverbinden

API-Timeout

Symptome: REST-Anfragen laufen in ein Timeout oder liefern 5xx-Fehler

Maßnahmen:

1. Wiederholen Sie die Anfrage mit exponentiellem Backoff
2. Prüfen Sie den Health-Endpunkt: GET /health
3. Reduzieren Sie die Anfragerate, falls das System überlastet ist

Vorbeugung: Implementieren Sie Request-Throttling und Circuit Breaker

Order-Probleme

Hohe Ablehnungsrate

Symptome: Viele Orders werden abgelehnt

Untersuchung:

1. Protokollieren Sie status und reason aus jeder Order-Antwort und jeder WebSocket-Nachricht order_updates. GET /orders?wallet=... liefert standardmäßig offene Orders und enthält keine Ablehnungsgründe
2. Prüfen Sie die Margin: GET /portfolio?wallet=...
3. Prüfen Sie die Kontolimits: GET /risk/limits?wallet=...
4. Stellen Sie sicher, dass die Instrumente nicht verfallen sind: GET /instruments?currency=...

Maßnahmen:

• Bei Margin-Problemen: Reduzieren Sie die Positionsgröße oder hinterlegen Sie zusätzliche Sicherheiten
• Bei Tier-Problemen: Decken Sie Verkäufe mit Long-Beständen ab oder wenden Sie sich wegen einer Tier-Änderung an Hypercall
• Bei verfallenen Instrumenten: Verwenden Sie andere Instrumente

Fehlende Fills

Symptome: Orders wurden ausgeführt, aber es gehen keine Fill-Benachrichtigungen ein

Untersuchung:

1. Prüfen Sie GET /fills?wallet=... auf Fills
2. Überprüfen Sie das Abonnement des WebSocket-Kanals fills
3. Prüfen Sie den Status der WebSocket-Verbindung

Maßnahmen:

• Abonnieren Sie den Kanal fills erneut
• Fragen Sie den REST-Endpunkt nach verpassten Fills ab
• Gleichen Sie Fills mit dem Order-Status ab

Veralteter Order-Status

Symptome: Der Order-Status in REST stimmt nicht mit WS überein

Untersuchung:

1. Prüfen Sie den Status der WebSocket-Verbindung
2. Stellen Sie sicher, dass der Order-Cache aktuell ist
3. Vergleichen Sie den Order-Status in REST und WS

Maßnahmen:

• Fragen Sie nach dem WS-Wiederverbinden REST ab, um den Stand nachzuholen
• Verwenden Sie REST als maßgebliche Quelle für den Abgleich

MMP-Probleme

MMP löst zu häufig aus

Symptome: Viele Orders werden durch MMP storniert

Untersuchung:

1. Prüfen Sie die MMP-Konfiguration mit einem signierten GET /mmp-config?wallet=...&currency=...
2. Analysieren Sie Fill-Muster und kumulierte Kennzahlen
3. Prüfen Sie, ob die Limits zu niedrig sind

Maßnahmen:

• Erhöhen Sie die MMP-Limits (Menge, Delta, Vega)
• Erhöhen Sie interval_ms, um mehr Fills im Zeitfenster zuzulassen
• Reduzieren Sie die Quotierungsfrequenz

MMP löst nicht aus

Symptome: Fills überschreiten die Limits, aber MMP löst nicht aus

Untersuchung:

1. Stellen Sie mit einem signierten GET /mmp-config?wallet=...&currency=... sicher, dass MMP aktiviert ist
2. Prüfen Sie mmp_enabled=true bei den Orders
3. Stellen Sie sicher, dass die Währung zum Basiswert der Order passt

Maßnahmen:

• Aktivieren Sie MMP bei den Orders: mmp_enabled=true
• Konfigurieren Sie MMP für die richtige Währung
• Passen Sie die Limits bei Bedarf an

Signierte MMP-Abfragen senden Ablaufzeit und Signatur von GetMmpConfig in den Headern X-Hypercall-Expires-At-Ms und X-Hypercall-Signature.

Margin-Probleme

Unzureichende Margin

Symptome: Orders werden mit "Insufficient margin" abgelehnt

Untersuchung:

1. Prüfen Sie das Portfolio: GET /portfolio?wallet=...
2. Überprüfen Sie die Margin-Berechnung
3. Prüfen Sie, welches Szenario fehlschlägt

Maßnahmen:

• Reduzieren Sie die Positionsgröße
• Hinterlegen Sie zusätzliche Sicherheiten
• Schließen Sie Positionen, um Margin freizugeben
• Sichern Sie Exposure ab, um den Worst-Case-Verlust zu verringern

Fehlender Spotpreis

Symptome: Orders werden mit einem Grund abgelehnt, der mit "Missing spot price for underlying" beginnt

Untersuchung:

1. Prüfen Sie index_price für den Basiswert in GET /markets
2. Stellen Sie sicher, dass das Symbol des Basiswerts korrekt ist
3. Prüfen Sie die Statusseite auf einen Oracle-Vorfall

Maßnahmen:

• Warten Sie, bis sich der Spotpreis-Feed erholt hat
• Verwenden Sie, falls verfügbar, einen anderen Basiswert
• Wenden Sie sich an den Support, wenn das Problem fortbesteht

Systemprobleme

Hohe Latenz

Symptome: Langsame API-Antworten oder verzögerte WebSocket-Nachrichten

Untersuchung:

1. Prüfen Sie die Systemlast
2. Überwachen Sie die Antwortzeiten
3. Prüfen Sie die Netzwerkverbindung

Maßnahmen:

• Reduzieren Sie die Anfragerate
• Implementieren Sie Request-Throttling
• Wenden Sie sich an den Support, wenn das Problem fortbesteht

Rate Limiting

Symptome: Anfragen werden abgelehnt oder gedrosselt

Aktuell: Rate Limits gelten pro Wallet, mit separaten Limits pro Quelle für Stornierungen, Agent-Autorisierung, MMP-Schreibvorgänge und Risikosimulationen. Details finden Sie unter Rate Limits.

Maßnahmen:

• Prüfen Sie den Header Retry-After und warten Sie vor einem erneuten Versuch
• Überwachen Sie X-RateLimit-Remaining, um ein Erreichen der Limits zu vermeiden
• Verwenden Sie nach Möglichkeit Bulk-Endpunkte

Notfallverfahren

Kill Switch

Sofortmaßnahmen:

1. Stornieren Sie alle Orders: DELETE /bulk_order oder DELETE /bulk_order_cloid, bis zu 50 Orders pro Anfrage
2. Trennen Sie die WebSocket-Verbindung
3. Stoppen Sie das Quotierungssystem

Wiederherstellung:

1. Stellen Sie sicher, dass alle Orders storniert sind: GET /orders?wallet=...
2. Prüfen Sie das Portfolio: GET /portfolio?wallet=...
3. Untersuchen Sie die Ursache
4. Nehmen Sie die Quotierung wieder auf, sobald das Problem behoben ist

Datenabgleich

Nach einem Vorfall:

1. Fragen Sie REST-Endpunkte nach dem aktuellen Stand ab
2. Gleichen Sie Orders ab: GET /orders?wallet=...
3. Gleichen Sie Fills ab: GET /fills?wallet=...
4. Gleichen Sie das Portfolio ab: GET /portfolio?wallet=...
5. Nehmen Sie die WebSocket-Abonnements wieder auf

Eskalation

Wenn das Problem fortbesteht:

1. Prüfen Sie bekannte Probleme und Staging-Hinweise, die Ihnen mit dem Zugang bereitgestellt wurden
2. Lesen Sie die Runbooks für detaillierte Verfahren
3. Wenden Sie sich mit folgenden Angaben an den Support:
   • Wallet-Adresse
   • Fehlermeldungen
   • Zeitstempel
   • Schritte zur Reproduktion