So bringen Sie KI-Agenten bei, mobile Apps eigenständig zu testen

Ein bekanntes Szenario: Sie bitten einen KI-Assistenten wie Cursor oder Claude, eine Funktion für eine mobile App zu schreiben, er spuckt eine Menge Code aus, Sie kopieren ihn, und dann... öffnen Sie den Simulator und klicken sich manuell durch jeden Bildschirm, um zu überprüfen, ob das Layout kaputt ist. In diesem Moment fühlt es sich an, als hätte die Automatisierung eine falsche Abzweigung genommen. KI kann Code schreiben, aber sie ist „blind" für die echte Oberfläche außerhalb des Text-Editors.

Die Leute von Callstack haben dieses Problem gelöst, indem sie agent-device veröffentlicht haben. Es ist ein CLI-Tool, das einen KI-Agenten vom Theoretiker zum Praktiker macht. Jetzt kann der Agent die App auf einem iOS-Simulator oder Android-Emulator öffnen, Bildschirmelemente betrachten und die richtigen Buttons antippen.

Warum sich die Mühe machen, wenn es Appium oder Maestro gibt

Es könnte den Anschein haben, dass es bereits genügend Mobile-Automatisierungstools gibt. Aber hier ist der Haken: Appium und Maestro wurden für Menschen entwickelt. Ein KI-Agent muss keine komplexen YAML-Szenarien schreiben oder sich mit Selektoren im XML-Baum herumschlagen. Er braucht einen schnellen, günstigen und unkomplizierten Weg, um mit der Hardware zu interagieren.

agent-device funktioniert anders. Es erfasst Screenshots nicht nur als Bilder, sondern als strukturierte Accessibility-Trees. Anstatt schwere Screenshots an ein multimodales Modell zu verfüttern und Tokens zu verbrennen, erhält der Agent eine textbasierte Beschreibung der Elemente mit kurzen Referenzen wie @e1, @e2. Das senkt die Kosten und beschleunigt den Prozess.

Was dieses Tool kann

Das Tool positioniert sich als die „Hände und Augen" des Agenten. Hier sind die Hauptfunktionen, die mir aufgefallen sind:

1. Intelligente Screenshots. Der Befehl snapshot -i gibt nur interaktive Elemente zurück. Der Agent sieht eine Liste: @e1 [button] "Sign In", @e2 [text-field] "Email". Kein Raten, wo man tippen muss.
2. Plattformübergreifend von Anfang an. Derselbe Workflow funktioniert für iOS, Android, TV (tvOS und Android TV) und sogar Desktop-Apps auf macOS und Linux.
3. Beweissammlung. Wenn etwas schiefgeht, kann der Agent eigenständig eine Videoaufzeichnung starten, Logs erfassen oder Netzwerkverkehr extrahieren. Das ist unbezahlbar für das Debugging von Bugs, die nur zur Laufzeit auftreten.
4. React Native-Integration. Da Callstack hinter diesem Projekt steht, gibt es tiefe RN-Unterstützung: Sie können den Komponentenbaum inspizieren und Renderings profilen.

Wie es in der Praxis aussieht

Stellen Sie sich vor, Sie richten einen MCP-Server (Model Context Protocol) für Ihren KI-Agenten ein. Jetzt kann er Befehle direkt im Terminal ausführen.

Zuerst überprüfen wir die Umgebung:

agent-device doctor

Wenn alles stimmt, kann der Agent die App starten:

agent-device open "MyApp" --platform ios

Dann schaut er sich um:

agent-device snapshot -i

Sobald er die Liste der Elemente hat, simuliert er einfach Benutzeraktionen:

agent-device fill @e3 "hello@world.com"
agent-device tap @e2

Das war's. Kein Warten auf die Kompilierung oder manuelles Wechseln zwischen Fenstern.

Unter der Haube

Das Tool versucht nicht, das Rad neu zu erfinden, wo Standards bereits funktionieren. Für iOS verwendet es XCTest, für Android ist es ADB in Kombination mit einem benutzerdefinierten Screenshot-Helfer. Für das Web läuft Playwright im Hintergrund (genauer gesagt die Logik von vercel/agent-browser).

Interessanterweise kann agent-device seine Sitzungen in das Maestro-Format konvertieren. Das bedeutet, der Agent kann einen Test entwerfen, während er die App „erkundet", und Sie können ihn dann als vollständigen E2E-Test für CI speichern.

Für wen sich das lohnt

Ich sehe mehrere Szenarien, in denen dies wirklich Zeit sparen wird:

• React Native- und Expo-Entwickler. Wenn Sie Cursor oder Windsurf verwenden, fügen Sie die agent-device-Dokumentation zum Kontext hinzu. Der Agent kann seine eigenen Änderungen verifizieren, ohne Sie zu unterbrechen.
• QA-Ingenieure. Sie können das Schreiben grundlegender Smoke-Tests an KI delegieren. Sie findet die Buttons selbst und verifiziert, dass Übergänge funktionieren.
• Teams, die mit TV-Plattformen arbeiten. TV-Automatisierung ist immer schmerzhaft, und hier ist sie gleich mit dabei.

Das Projekt befindet sich in aktiver Entwicklung, und obwohl die Dokumentation noch an einigen Stellen vervollständigt wird, funktioniert die Haupt-CLI stabil. Wenn Sie an das Konzept der Agentic Workflows glauben, ist dieses Tool definitiv einen Abend wert.

Sie können mit ihrer offiziellen Dokumentation beginnen, die detailliert beschreibt, wie Sie die CLI mit beliebten KI-Agenten integrieren.