Das KI-Auditprotokoll: Sehen Sie nach, was die KI in Ihrem Shop getan hat

Wenn Sie Ihren Webshop von einem KI-Assistenten verwalten lassen, stellt sich sofort eine Frage: Was hat er eigentlich gemacht? Das Auditprotokoll gibt darauf eine Antwort. Er protokolliert jede einzelne Aktion, die ein KI-Assistent in Ihrem Shop ausführt. Wann sie stattfand, welche Funktion genutzt wurde, welche Informationen übermittelt wurden, ob alles reibungslos verlief und wie lange es gedauert hat.

Das Protokoll wird automatisch geführt. Du musst nichts aktivieren und kannst es auch nicht deaktivieren. Sobald du Claude oder einen anderen KI-Assistenten mit dem Shop verbunden hast, beginnen die Einträge einzutreffen. Wenn du noch nicht losgelegt hast, fang mit „Den Shop mit KI verwalten“ an.

Der Nutzen liegt auf der Hand: Das Protokoll macht die KI zu etwas, das du im Blick behalten kannst, anstatt dich blind darauf verlassen zu müssen. Ändert sich ein Preis, ohne dass du dich daran erinnern kannst, warum, dauert es weniger als eine Minute, nachzuschauen, ob es an der KI lag.

So findest du das Audit-Protokoll

1. Gehe im Menü auf „Shop“, wähle „Integrationen“ und klicke auf „Shop mit KI verwalten“.
2. Unten auf der Seite wird angezeigt, wie viele Aufrufe protokolliert wurden. Klicke auf den Link „Audit-Protokoll anzeigen“ daneben.
3. Die Seite heißt „MCP-Auditprotokoll“. Über den Link „Zurück zur Übersicht “ oben gelangst du wieder zurück.

MCP steht für „Model Context Protocol“, den offenen Standard, den der KI-Assistent verwendet, wenn er mit deinem Shop kommuniziert. Ein „MCP-Client“ ist also einfach das Programm, in dem du chattest, zum Beispiel Claude.

Die vier Zahlen oben auf der Seite

• Insgesamt. Wie viele Aktionen im Shop protokolliert wurden.
• Erfolgreich. Wie viele ohne Probleme durchgeführt wurden.
• Fehlgeschlagen. Wie viele wurden abgelehnt oder sind fehlgeschlagen.
• Letzte Aktivität. Wie lange es her ist, dass die KI zuletzt mit dem Shop interagiert hat, angezeigt als „vor 3 Tagen“. Wenn du mit der Maus über den Text fährst, wird dir der genaue Zeitpunkt angezeigt.

Die Zahl unter „Fehlgeschlagen“ ist die, auf die du achten solltest. Ein paar Fehler sind normal, zum Beispiel wenn die KI etwas ausprobiert, das du deaktiviert hast. Steigt die Zahl plötzlich an, solltest du dir das Protokoll ansehen.

Was das Protokoll für jeden Aufruf anzeigt

Die Liste besteht aus fünf Spalten, wobei die neuesten Einträge ganz oben stehen:

• Zeitpunkt. Wird als „vor 6 Tagen“ angezeigt. Bewegen Sie den Mauszeiger über das Datum und die Uhrzeit.
• Tool. Der Name der Funktion, die die KI verwendet hat, zum Beispiel „product_update“ oder „order_create“. Die Namen sind auf Englisch und bestehen aus einem Bereich plus einer Aktion, sodass „voucher_create“ beispielsweise „Gutscheincode erstellen“ bedeutet.
• Argumente. Die Informationen, die die KI mitgesendet hat. Sie sehen eine kurze Vorschau und können darauf klicken, um den vollständigen Inhalt anzuzeigen.
• Status. Ein grünes „OK “ oder ein rotes „Fehler“.
• Dauer. Wie viele Millisekunden der Shop für die Aktion benötigt hat. Diese Zahl ist besonders interessant, wenn etwas plötzlich deutlich länger dauert als gewöhnlich.

Wenn du auf den Text unter „Argumente“ klickst, wird der gesamte Inhalt angezeigt, und du kannst genau nachlesen, was die KI vom Shop angefordert hat. Hat sie einen Blogbeitrag verfasst, steht dort der gesamte Text. Hat sie einen Preis korrigiert, steht dort der Betrag. Ist der Aufruf fehlgeschlagen, erscheint die Fehlermeldung in einem roten Kasten direkt darunter, sobald du den Inhalt aufklappst. Die Liste zeigt jeweils 50 Protokolleinträge an, daher sind die Filter der schnellste Weg, wenn du viele Einträge hast.

Was protokolliert wird und was nicht

Jedes Mal wird ein Eintrag geschrieben, wenn:

• Ein KI-Assistent Informationen abruft, zum Beispiel eine Bestellliste oder eine Verkaufsstatistik.
• Ein KI-Assistent etwas ändert, zum Beispiel ein Produkt anlegt, einen Preis korrigiert oder eine Bestellung aktualisiert.
• Ein Versuch abgelehnt wird. Abgeblockte Aufrufe werden ebenfalls protokolliert, zusammen mit der Begründung, sodass du sehen kannst, dass die KI es versucht hat und warum sie keine Berechtigung erhielt.

Folgendes wird hingegen nicht erfasst:

• Ihre eigenen Klicks im Administrationsbereich. Das Protokoll bezieht sich ausschließlich auf den KI-Assistenten.
• Allgemeine API-Integrationen wie Versand- oder Buchhaltungssysteme. Diese verfügen über ein eigenes Protokoll pro Schlüssel unter „Shop“, „Integrationen“, „API-Zugriff“. Siehe REST-API.
• Die Konversation selbst. Das Protokoll speichert die Aktionen, nicht das, was du und die KI einander geschrieben haben.
• Die KI-Hilfe im Texteditor. Sie schreibt Textvorschläge für dich und nimmt keine eigenmächtigen Änderungen im Shop vor.

So filterst du das Protokoll

• „Werkzeuge“. Oben befindet sich eine Dropdown-Liste mit „Alle Werkzeuge “. Sie zeigt nur die Funktionen an, die tatsächlich in deinem Shop verwendet wurden, sodass du nicht Hunderte von Namen durchsuchen musst, die du noch nie benutzt hast.
• Status. Wähle zwischen „Alle“, „Erfolgreich“ und „Fehlgeschlagen“.
• „Filtern“ wendet deine Auswahl an. „Zurücksetzen“ erscheint erst, wenn ein Filter aktiv ist, und löscht beide Felder wieder.

Die Filter wirken zusammen. Wenn du nur Produktaktualisierungen sehen möchtest, die fehlgeschlagen sind, wählst du „product_update“ unter „Werkzeuge“ und „Fehlgeschlagen“ unter „Status“. Wenn keine Übereinstimmung vorliegt, wird dies auf der Seite angezeigt und es wird ein Link zum Zurücksetzen der Filter angeboten.

Nutze das Protokoll, wenn etwas schiefgelaufen ist

1. Öffne das Protokoll und schau dir „Letzte Aktivität“ an. Wenn der Zeitpunkt nicht mit dem Zeitpunkt übereinstimmt, zu dem das Problem aufgetreten ist, hat die KI wahrscheinlich nichts damit zu tun.
2. Setze den Status auf „Fehlgeschlagen“ und klicke auf „Filtern“.
3. Wenn du den Bereich kennst, wähle auch ein Tool aus, zum Beispiel „product_update“ bei einem falschen Preis oder „order_update“ bei einer Bestellung.
4. Klappen Sie den Abschnitt „Argumente“ auf. Jetzt können Sie genau nachlesen, was gesendet wurde, und die Fehlermeldung steht im roten Feld darunter.
5. Korrigiere den Fehler in der allgemeinen Verwaltung. Das Protokoll ist ein Protokoll, kein „Rückgängig“-Button.

Die Fehlermeldungen, auf die du am häufigsten triffst

Die Fehlermeldungen sind auf Englisch, da sie auch an den KI-Assistenten zurückgesendet werden. Drei davon tauchen immer wieder auf:

• Eine Domäne ist deaktiviert („Tool domain … is disabled“). Du hast diese Werkzeuggruppe unter „Werkzeuge anpassen“ selbst deaktiviert. Siehe „Anpassen, welche Werkzeuge Claude in deinem Shop verwenden darf“.
• Fehlende Berechtigungen („Insufficient scope“). Die Zugriffsebene der Verbindung passt nicht zum Tool, typischerweise, weil die Verbindung nur Lesezugriff hat, während die KI versucht hat, etwas zu ändern. Das kann auch umgekehrt passieren, denn Schreibzugriff gewährt nicht automatisch Lesezugriff. Stellen Sie die Verbindung erneut her und wählen Sie „Vollzugriff“.
• Theme-Dateien („Theme-file access disabled on token“). Der Zugriff auf die Theme-Dateien ist für die Verbindung nicht aktiviert. Dies ist eine zusätzliche Sicherheitsmaßnahme, da Theme-Dateien das Erscheinungsbild des Shops steuern.

Bei allen drei steht unter „Dauer“ 0 ms. Das ist kein Anzeigefehler. Der Aufruf wurde abgebrochen, bevor der Shop etwas ausführen konnte. Andere Fehlermeldungen stammen vom Shop selbst, zum Beispiel wenn ein Pflichtfeld fehlte.

Das Protokoll eignet sich ebenso gut für die umgekehrte Frage: „Was hat die KI eigentlich geschrieben?“ Filtern Sie nach „blog_create“ oder „page_create“, klappen Sie die Argumente auf, und der gesamte Text ist dort zu finden – auch wenn Sie ihn inzwischen bearbeitet haben.

Sensible Informationen werden nicht im Klartext gespeichert

Bevor ein Log-Eintrag gespeichert wird, überprüft Shoporama die Argumente und maskiert alles, was nach einem Geheimnis aussieht. Bei Feldern, deren Name Wörter wie Passwort, Token, Secret, API-Schlüssel, Kartennummer, Kreditkarte, CVV oder Personalausweisnummer enthält, wird der Wert durch [REDACTED] ersetzt. Dies gilt auch für Felder, die tief in einer größeren Struktur eingebettet sind. Der eigentliche Zugangsschlüssel für die Verbindung wird niemals gespeichert, sondern lediglich ein Hash, der nicht zurückberechnet werden kann.

Beachten Sie dabei auch das Offensichtliche: Wenn Sie die KI bitten, eine telefonische Bestellung zu erstellen, stehen der Name und die Adresse des Kunden in den Argumenten, genau wie auf der Bestellung. Das Protokoll ist nur für diejenigen einsehbar, die im Administrationsbereich des Shops angemeldet sind, und die Einträge werden nach 90 Tagen automatisch gelöscht.

Das Protokoll wird 90 Tage lang gespeichert

Protokolleinträge, die älter als 90 Tage sind, werden automatisch gelöscht. Die Bereinigung erfolgt jede Nacht automatisch, was auch im Text oben auf der Seite angegeben ist. Sollten Sie einen bestimmten Eintrag länger als diese Frist als Nachweis benötigen, machen Sie bitte einen Screenshot oder kopieren Sie den aufgeklappten Protokolleintrag in ein Dokument, solange er noch vorhanden ist. Es gibt keine Export-Schaltfläche auf der Seite.

Für technisch Versierte

• Das Protokoll umfasst ausschließlich Aufrufe von MCP-Tools. Die Argumente werden in dem vom Client gesendeten JSON-Format gespeichert, wobei sensible Schlüssel zunächst maskiert und sehr lange Argumente gekürzt werden.
• Namen, die _list oder _get enthalten, sowie webshop_info und alles, was mit stats_ beginnt, gelten als Lesezugriff. Einige reine Nachschlagewerkzeuge sind zudem als Lesezugriff gekennzeichnet. Der Rest gilt als Schreibzugriff.
• Eine Verbindung kann die Zugriffsebene „Lesen“, „Schreiben“ oder „Voller Zugriff“ haben. Schreibzugriff gewährt nicht automatisch Lesezugriff; wenn die KI also sowohl Daten abrufen als auch ändern soll, muss die Verbindung über „Voller Zugriff“ verfügen. Siehe OAuth, Apps Zugriff auf Ihren Webshop gewähren.
• Die Dauer misst nur die Ausführungszeit des Shops selbst, nicht die Überlegungszeit der KI oder die Netzwerkzeit. Aufrufe, die durch eine Vorabprüfung gestoppt werden – also aufgrund einer gesperrten Domain, einer falschen Zugriffsebene oder fehlendem Zugriff auf Theme-Dateien –, werden mit 0 ms protokolliert.
• Das Protokoll ist nur im Administrationsbereich verfügbar. Es gibt keinen API-Endpunkt, um es programmgesteuert abzurufen.

Häufig gestellte Fragen

Ich verstehe den Begriff „Tool“ nicht. Was sehe ich hier?

Ein Tool ist eine bestimmte Aktion, die die KI in deinem Shop ausführen kann, ähnlich wie eine Schaltfläche im Admin-Bereich. Wenn du die KI bittest, einen Preis anzupassen, verwendet sie das Tool „product_update“, und dieser Name erscheint im Protokoll. Die Namen sind auf Englisch, folgen aber dem Muster „Bereich plus Aktion“.

Wie kann ich feststellen, ob die KI oder ein Kollege etwas geändert hat?

Schau dir den Zeitpunkt an. Gibt es einen Protokolleintrag in dem Zeitraum, in dem die Änderung stattfand, und passt das Tool zu der Änderung, dann war es die KI. Gibt es keine Einträge um diesen Zeitpunkt herum, wurde die Änderung manuell vorgenommen, da das Protokoll nur die KI-Verbindung abdeckt.

Kann ich das Auditprotokoll als Nachweis gegenüber meinem Wirtschaftsprüfer verwenden?

Er kann als Unterstützung dienen, ist jedoch kein Buchhaltungsbeleg. Er zeigt, was die KI wann getan hat. Die Einträge werden nach 90 Tagen gelöscht. Wenn ein Vorfall länger dokumentiert werden soll, musst du den aufgeschlüsselten Protokolleintrag in ein Dokument kopieren.

Ich habe fünf Shops. Gilt das Protokoll für alle gemeinsam?

Nein. Jeder Webshop hat sein eigenes Protokoll, und du siehst nur Einträge aus dem Shop, in dem du dich gerade befindest. Wenn du in einem anderen Shop nachsehen möchtest, wechselst du im Administrationsbereich den Shop und öffnest dort das Protokoll.

Bei einem Aufruf ist ein Fehler aufgetreten, den ich selbst deaktiviert habe. Ist das ein Problem?

Nein. Das passiert, wenn die KI gerade mitten in einem Gespräch ist und ein Tool ausprobiert, das du zwischendurch deaktiviert hast. Der Shop lehnt den Aufruf ab, schreibt den Grund dafür in das Protokoll, und die KI wird darüber informiert. Im Shop wird nichts geändert.

Die KI hat etwas falsch korrigiert. Kann ich das über das Protokoll rückgängig machen?

Nein, über das Protokoll lässt sich nichts rückgängig machen. Du kannst jedoch die Argumente aufklappen und genau sehen, was gesendet wurde, und es dann manuell an der richtigen Stelle in der Verwaltung korrigieren. Das geht in der Regel schneller als zu raten.

Im Protokoll steht überhaupt nichts. Stimmt da etwas nicht?

Wahrscheinlich nicht. Wenn im Shop noch nie ein KI-Aufruf ausgeführt wurde, zeigt die Seite „Noch keine Aktivität“ an und verlinkt weiter zur Konfiguration. Steht dort hingegen, dass keine Protokolleinträge deinen Filtern entsprechen, hast du einen Filter aktiviert, und dann klickst du einfach auf „Zurücksetzen“.

Kann ich Aufrufe aus meiner Versandintegration im selben Protokoll sehen?

Nein. Das Audit-Protokoll deckt die AI-Verbindung ab. Integrationen, die einen normalen API-Schlüssel verwenden, haben ihr eigenes Protokoll, das du pro Schlüssel unter „Shop“, „Integrationen“, „API-Zugriff“ findest.

Was mache ich, wenn ich Vorgänge sehe, die ich nicht selbst angefordert habe?

Trennen Sie die Verbindung. Trennen Sie die Shoporama-Integration in dem von Ihnen verwendeten AI-Client und entziehen Sie den Zugriff unter „Shop“, „Integrationen“, „API-Zugriff“. Schreiben Sie anschließend eine E-Mail an support@shoporama.dk und geben Sie den Zeitpunkt an, dann werden wir das gemeinsam mit Ihnen genauer untersuchen.

Wenn du Fragen zum Audit-Protokoll oder zur KI-Integration im Allgemeinen hast, kannst du dich gerne an support@shoporama.dk wenden.