Dokumente, Sprache, Video, Benachrichtigungen, Session-Suche
Der Rest des Namespace plantocode: eigenständige HTML-Dokumente, Gemini-Text-zu-Sprache und Video-Extraktion unter Ihrem eigenen Schlüssel, Push-Benachrichtigungen über das Relay und eine Nur-Lese-Sicht auf Ihre Sessions.
Gegen den Quellcode geprüft am 17. September 2026
Auf dieser Seite
Was der Agent erreichen kann
- Tool-Aufrufitem/tool/call
Codex bittet den Desktop, ein Tool auszuführen, und wartet auf die Antwort. Der Handler liest nur den Tool-Namen und die Argumente, die das Modell geschrieben hat, einschließlich der Session-ID, die es aus der Tool-Beschreibung kopiert hat.
- Lokale Toolsbuild_app_capabilities
Immer in der Liste: HTML-Dateien unter agent-documents im App-Datenordner, ein lesender Blick auf appdata.db und Ihr Chrome über Browser Bridge, die aus bleibt, bis Sie sie einschalten.
- Bedingte Toolshas_gemini_api_key · show_notifications
Das Gemini-Paar braucht einen auf diesem Computer gespeicherten Gemini-Schlüssel und ruft Gemini direkt vom Desktop auf. Die Benachrichtigung braucht eingeschaltete Desktop- und Telefonbenachrichtigungen und läuft über den regionalen Server.
- Feste ListedynamicTools
Der Desktop baut die Liste für jeden Run neu, aber Codex übernimmt sie nur, wenn ein Thread startet. Eine fortgesetzte Session behält die Tools und Routing-Werte, mit denen sie begonnen hat.
HTML-Dokumente
Der Agent kann mit einem vollständigen HTML-Dokument antworten, mit eingebettetem CSS, SVG und Skripten, das sich im Vorschaubereich des Desktops und im Dateibetrachter auf Ihrem Telefon öffnet. Es lädt keine externen Ressourcen. Der Desktop liefert es aus einem isolierten Ursprung aus, und die App nimmt von der Seite nur zwei Nachrichten an: einen Link öffnen und Seite geladen.
Das Werkzeug nimmt einen Titel von höchstens 120 Zeichen und ein vollständiges Dokument von höchstens 2 MiB mit doctype, html[lang], einem Titel, einem device-width-Viewport ohne Zoom-Grenzen, main und h1. Jedes SVG braucht eine viewBox und einen Titel, aria-label oder aria-hidden; src, poster und href dürfen nur data:-URLs oder Fragment-IDs sein; script[src], link[href], iframe, object, embed, base, srcset und meta refresh werden abgelehnt. Der Desktop stellt eine Content-Security-Policy mit default-src none, eingebetteten Skripten und Styles, data:-Bildern, -Schriften und -Medien und ohne connect-, frame- oder form-Ziele voran, schreibt die Datei dann nach agent-documents/<sessionId>/<documentId>/ unter seinem Datenverzeichnis mit einer metadata.json, verweigert das Überschreiben und gibt einen Markdown-Link zurück, den der Agent wörtlich einfügen muss, weil ein Werkzeugergebnis allein keine Zustellung ist. Das Ergebnis markiert die Struktur als bestanden und die visuelle und faktische Prüfung als nicht geprüft.
Sprache und Video mit Ihrem Gemini-Schlüssel
Speichern Sie einen Gemini-API-Schlüssel unter Settings → API Keys, und in Sessions, die danach starten, erscheinen zwei weitere Tools im Namespace. Der Schlüssel bleibt auf dem Desktop, und die Anfragen gehen von Ihrem Computer direkt an Gemini.
- Sprachausgabe. Der Desktop teilt den Text an Satzgrenzen in Blöcke von höchstens 1.800 Zeichen, synthetisiert drei gleichzeitig mit gemini-3.1-flash-tts-preview, wiederholt jeden Block zweimal mit wachsendem Backoff und fügt die 24-kHz-Mono-16-Bit-PCM-Teile mit 180 ms Stille dazwischen zu einer WAV-Datei unter agent-speech im Cache-Verzeichnis zusammen. Regieanweisungen bleiben außerhalb des gesprochenen Transkripts, und ein mehrteiliger Prompt weist das Modell an, die Teilnummer nicht vorzulesen. Dreißig vorgefertigte Stimmen stehen bereit, und Kore ist die Voreinstellung.
- Videokontext. Die Quelle ist eine öffentliche YouTube-URL, eine öffentliche https-Video-URL oder eine lokale Aufnahme, mit der Absicht Tutorial oder Meeting. Eine YouTube-ID muss 11 Zeichen haben, und ein Playlist-Parameter wird abgelehnt. gemini-3.1-pro-preview läuft mit Temperatur 0,2 gegen ein JSON-Schema, das zu Markdown gerendert wird. Der Tutorial-Modus extrahiert Konzepte, Abläufe, Befehle, Code, Bildschirmtext und Vorbehalte; der Meeting-Modus extrahiert Entscheidungen, Anforderungen, Blocker, Aufgaben und offene Fragen. Das Ergebnis sind Notizen mit Zeitstempeln, auf Ihr Ziel zugeschnitten, mit benannten Lücken.
Videoquellen sind genau eine von youtube_url, local_file oder video_url. Eine entfernte URL braucht einen von zwölf unterstützten Video-MIME-Typen wie video/mp4, video/webm, video/quicktime oder video/mpeg, und Gemini muss sie direkt abrufen können. Es gibt keine Rückfallpfade: Eine private, unerreichbare oder mehrdeutige Quelle scheitert ausdrücklich.
Vom Agenten geschriebene Benachrichtigungen
- Angefordertagent-notification-requested
Der Aufruf kehrt zurück, sobald das Event in einem verbundenen Device-Link eingereiht ist. Der Server verteilt es und sendet die Pushes danach selbstständig.
- Sichtbarer Fehlerinitialize_connection
Ist der Link nicht bereit, startet der Desktop ihn neu und versucht es 8 weitere Male. Mit ausgeschaltetem Allow Remote Access oder abgemeldet kommt er nie hoch, sodass der Fehler nach etwa 2 Sekunden eintrifft, oder sofort, wenn der Link seit dem App-Start nie gestartet wurde.
- Stiller Verlustsend_agent_notification_push
Hinter dem Relay kommt nichts zurück. Ein Server ohne APNs oder FCM, ein Konto ohne registriertes Telefon und ein abgelehntes Token werden nur protokolliert. Ein Telefon ohne Benachrichtigungsberechtigung zeigt nichts an.
Schalten Sie Desktop- und Telefonbenachrichtigungen unter Einstellungen → Allgemein ein, und Sessions, die danach starten, erhalten ein Werkzeug für eine Push-Meldung zur aktuellen Session pro Aufruf. Die Zeile Agentenbenachrichtigungen darunter wählt die Anleitung, die das Werkzeug trägt: Wichtig beschränkt es auf Ergebnisse und blockierende Fragen, Häufig ergänzt bedeutsame Meilensteine und Fehler, weist den Agenten aber weiterhin an, routinemäßige Fortschrittsmeldungen zu vermeiden. Beide Richtlinien stellen dasselbe Werkzeug bereit; nur seine Beschreibung unterscheidet sich. Die Titelgrenze von 60 Zeichen zwingt das Ergebnis nach vorn.
Session-Suche
maintain_sessions ist eine schreibgeschützte Sicht auf appdata.db mit drei Aktionen: guide, listSessions und resolveSession. Es verknüpft sessions mit dem Projekt-Workspace-Zustand, der die aktive Session markiert, und mit den Codex-Session-Links, sortiert nach letzter Aktualisierung, liefert standardmäßig 25 und höchstens 200 Zeilen, filtert nach dem Hash des Projektverzeichnisses und löst eine PlanToCode-Session zu ihrem Codex-Thread-Link auf. Es kann weder Session-Metadaten noch den Aktiv-Zustand ändern, und es ist kein SQL-Werkzeug.
Wohin die Daten gehen
Die Browsersteuerung bedient Ihr Chrome, Sprache und Video senden Text oder Video unter Ihrem Schlüssel an Gemini, und Meldungen laufen über den regionalen Server.