Selbstcheck Agenten-Kontrolle: 12 Fragen, die Ihr Security-Review stellen wird
Ein Security-Review eines KI-Agenten fragt nicht, wie genau das Modell ist. Es fragt, als wer der Agent handelt, was eine Person gesehen hat, bevor ein Schreibzugriff stattfand, und was übrig bleibt, wenn er falsch war. Die zwölf Fragen unten sind die, die gestellt werden, gruppiert nach Lesen, Schreiben und Nachweis. Zu jeder gibt es eine Prüfung, die Sie in etwa zehn Minuten an Ihrem eigenen Agenten durchführen können, und die Antwort, die besteht.
Führen Sie sie an dem Agenten durch, den Sie schon haben. Ein Nein bei einer der Fragen ist der erste Befund eines Schreibpfad-Reviews, und es ist günstiger, ihn selbst zu finden.
Lesen
1. Unter wessen Identität liest der Agent?
PrüfungÖffnen Sie die Connector-Konfiguration und suchen Sie nach einem Service Principal oder einem API-Token mit breitem Scope.
BestandenJeder Lesezugriff trägt das eigene Token der angemeldeten Person. Die Schicht hält keine stehende Berechtigung.
2. Was sieht eine Person, wenn ein Treffer außerhalb ihres Zugriffs liegt?
PrüfungFragen Sie als Person ohne Zugriff auf einen Bereich, wie viele Seiten in diesem Bereich einen Kunden erwähnen.
BestandenKeine Zahl. Das Element fällt ohne Zählung weg, und kein Titel davon erscheint irgendwo, auch nicht in einer Herkunftskette.
3. Werden Gruppenmitgliedschaften zum Zeitpunkt der Frage aufgelöst?
PrüfungEntfernen Sie einen Testnutzer aus einer Verzeichnisgruppe und stellen Sie dieselbe Frage innerhalb einer Minute erneut.
BestandenDie Antwort ändert sich bei der nächsten Frage, ohne Neuindexierung und ohne Cache, der über Identitäten hinweg geteilt wird.
4. Zitiert jedes Element die Textstelle, die es dorthin gebracht hat?
PrüfungNehmen Sie fünf Antworten und öffnen Sie den Datensatz hinter jedem Element.
BestandenDie zitierte Stelle steht wörtlich im Datensatz. Ein Element, das die Schicht nicht zitieren kann, wird nicht gezeigt. Eine Quelle, die nicht geantwortet hat, wird benannt.
Schreiben
5. Welche Schreibzugriffe brauchen eine Person?
PrüfungListen Sie jedes Tool mit Seiteneffekt. Markieren Sie jedes als umkehrbar innerhalb eines Systems, oder als eines, das das Haus verlässt oder Geld berührt.
BestandenDie zweite Klasse ist immer ein Vorschlag, den eine Person freigibt. Die erste Klasse trägt ihren vorherigen Wert am Datensatz, das Zurücknehmen ist ein einziger Schreibzugriff.
6. Was sieht die freigebende Person?
PrüfungVergleichen Sie für zehn freigegebene Aktionen den Kartentext mit den Tool-Argumenten im Log.
BestandenDie Freigabe bindet wörtlich an die ursprünglichen Argumente. Die Karte zeigt den aufgelösten Kunden und die Textstelle, keine Zusammenfassung der Absicht.
7. Kann dasselbe Signal zwei Prüfungen öffnen?
PrüfungSenden Sie dieselbe Nachricht zweimal. Leiten Sie sie dann aus einem zweiten Kanal weiter.
BestandenEine Prüfung. Der zweite und dritte Versuch werden als dedupliziert festgehalten, und eine Deduplizierung ist eine auditierte Entscheidung.
8. Wer schließt eine Prüfung, die niemand beantwortet hat?
PrüfungLöschen Sie die Freigabekarte im Chat und warten Sie einen Tag.
BestandenDie Prüfung ist weiterhin offen. Eine verlorene Karte oder eine verpasste Nachricht schließt nie eine, und zwei Personen bearbeiten nie dieselbe Zeile.
Nachweis
9. Kann ein Assistent seinen eigenen Vorschlag freigeben?
PrüfungVerbinden Sie die MCP-Tür aus einem Editor oder Desktop-Assistenten und rufen Sie die Annehmen-Aktion auf.
BestandenAbgelehnt. Ein Assistent kann in die Warteschlange vorschlagen und nicht annehmen. Der Aufruf landet im selben Audit-Trail wie der Chat-Tab.
10. Was hält der Beleg fest?
PrüfungÖffnen Sie die Audit-Zeile eines freigegebenen Schreibzugriffs.
BestandenWer freigegeben hat, wann, der exakte Schreibzugriff, der Datensatz, in dem er gelandet ist, der vorherige Wert, wo es einen gab, und die Textstelle, aus der der Vorschlag gebaut wurde.
11. Wie wird eine falsche Aktion zurückgenommen?
PrüfungGeben Sie einen Test-Schreibzugriff frei und fordern Sie dann seine Rücknahme an.
BestandenEine kompensierende Aktion mit eigenem Beleg. Die Historie wird nie gelöscht, und die falsche Aktion bleibt neben ihrer Korrektur sichtbar.
12. Wo laufen Rechenleistung, Speicher und Inferenz?
PrüfungLesen Sie die Datenverarbeitungsangaben jedes eingesetzten Modells, pro Modell.
BestandenRechenleistung und Speicher auf Ihrem eigenen Tenant in der EU. Inferenz pro Modell benannt. Eine Seite oder ein Dokument, das behauptet, alles bleibe in der EU, hat zu viel versprochen.
Was ein Nein bedeutet
Ein einzelnes Nein ist kein durchgefallenes Review. Es ist der erste Punkt des Schreibpfad-Reviews: die Regel, die sich ändert, die Tür, für die sie gilt, und das gemessene Verhältnis zwischen dem, was heute bei einer Person ankommt, und dem, was ankommen sollte. Die meisten Agenten, die ich lese, bestehen die Fragen 4, 10 und 12 und fallen bei 1, 6 und 9 durch, weil diese drei im Harness entschieden werden und der Harness für die Demo gebaut wurde.