Claude Computer Use ist Anthropics neue KI-Agent-Funktion, die Ihren Mac per Bildschirm, Maus und Tastatur bedient, um Aufgaben auszuführen, die Sie per Telefon oder Desktop zuweisen. Am 24. März 2026 gestartet, ist die Funktion Teil von Claude Cowork und Claude Code für Pro- und Max-Abonnenten auf macOS. Sie beschreiben, was erledigt werden soll. Claude entscheidet, ob eine API-Integration, ein Browser oder direkte Bildschirmsteuerung zum Einsatz kommt, und führt die Aufgabe aus. Kein Scripting. Keine Selenium-Konfiguration. Sie sagen, was Sie brauchen, und gehen.
Das ist kein Remote Desktop im klassischen Sinn. Am anderen Ende sitzt kein Mensch. Claude liest Pixel, berechnet Koordinaten vom Bildschirmrand und übersetzt sein Verständnis Ihrer Benutzeroberfläche in Mausklicks und Tastatureingaben. Eher wie ein extrem geduldiger Praktikant mit Zugriff auf Ihren Rechner als wie TeamViewer.
Wie Claude Computer Use technisch funktioniert
Die Architektur hinter Computer Use basiert auf einem Screenshot-Aktions-Kreislauf. Claude macht eine Bildschirmaufnahme, analysiert den visuellen Inhalt, identifiziert UI-Elemente (Buttons, Textfelder, Menüs), berechnet Pixelkoordinaten und führt dann eine Aktion aus: einen Klick, eine Tastatureingabe, ein Scrollen. Nach jeder Aktion folgt eine neue Bildschirmaufnahme zur Überprüfung des Ergebnisses.
Das Drei-Stufen-Prioritätssystem
Claude springt nicht direkt zur Bildschirmsteuerung. Es folgt einer strikten Hierarchie:
Stufe 1: Direkte Integrationen. Wenn Claude einen Connector für den gewünschten Dienst hat (Google Calendar, Slack, Google Drive und weitere), nutzt es die API. Das ist am schnellsten, zuverlässigsten und fehlerärmsten.
Stufe 2: Browser-Automatisierung. Wenn keine direkte Integration existiert, aber die Aufgabe eine Web-App betrifft, öffnet Claude einen Browser und navigiert die Oberfläche. Es liest Seiteninhalte, füllt Formulare aus und klickt Buttons, alles über den Browser statt über rohe Bildschirmpixel.
Stufe 3: Bildschirmsteuerung. Erst wenn weder eine API noch ein Browser-Weg existiert, greift Claude auf die vollständige Desktop-Steuerung zurück. Es macht Screenshots, identifiziert UI-Elemente visuell und bedient den Computer so, wie ein Mensch es tun würde.
Dieses Prioritätssystem ist entscheidend, weil jede Stufe unterschiedliche Zuverlässigkeitsmerkmale hat. API-Aufrufe sind deterministisch. Browser-Automatisierung funktioniert meist zuverlässig, bricht aber bei Layout-Änderungen. Bildschirmsteuerung funktioniert mit allem, ist aber die langsamste und fragilste der drei Optionen.
Pixelzählung und Koordinatengenauigkeit
Der technisch interessanteste Aspekt von Computer Use ist, wie Claude erkennt, wo es klicken soll. Bei nativen Apps nutzt es keine Accessibility-APIs oder DOM-Inspektion. Stattdessen verarbeitet es den Screenshot als Bild, identifiziert UI-Elemente visuell und berechnet Pixelkoordinaten vom Bildschirmrand aus. Die unterstützten Aktionen: screenshot, left_click an Koordinaten, type für Texteingabe, key für Tastenkombinationen und mouse_move zur Neupositionierung des Cursors.
Claude auf pixelgenaue Koordinaten über verschiedene Bildschirmauflösungen und App-Layouts hinweg zu trainieren, war laut Anthropics Engineering-Team eine der größten Herausforderungen. Ein Button bei (340, 220) auf einem 1440p-Display liegt auf einem 4K-Bildschirm an einer völlig anderen Stelle, und Claude muss beides ohne explizite Kalibrierung beherrschen.
Dispatch: Vom Handy den Desktop steuern
Dispatch macht Computer Use alltagstauglich. Eine Woche vor Computer Use veröffentlicht, erstellt Dispatch eine persistente Konversation zwischen Claude auf Ihrem iPhone und Claude auf Ihrem Mac.
So funktioniert die Dispatch-Kopplung
Sie scannen einen QR-Code in der Claude-Desktop-App mit Ihrem iPhone. Ab diesem Moment können Sie Claude Anweisungen von überall per Nachricht schicken. Claude führt die Aufgaben auf Ihrem Mac aus (der wach bleiben und die Claude-App laufen haben muss) und sendet die Ergebnisse zurück. Die Verbindung ist persistent: Sie können den Fortschritt prüfen, Folgeanweisungen geben oder Aufgaben abbrechen, ohne vor dem Computer zu sitzen.
Das Praxisszenario, das Anthropic demonstriert hat: Sie pendeln, schreiben Claude „Fasse die Q1-Verkaufsdaten aus den drei Tabellen auf meinem Desktop in einer Zusammenfassung mit Diagrammen zusammen", und wenn Sie im Büro ankommen, ist die Arbeit erledigt. Ob das 20 Minuten oder 2 Stunden spart, hängt von der Aufgabenkomplexität und den verfügbaren Integrationen ab.
Was Dispatch kann und was nicht
Dispatch arbeitet innerhalb derselben Einschränkungen wie Computer Use. Es kann Anwendungen öffnen, Browser navigieren, Tabellen ausfüllen, Dateien verwalten und Nachrichten über Apps auf Ihrem Mac senden. Neue Software installieren ohne Ihre Erlaubnis kann es nicht, und es fragt vor dem Zugriff auf jede bisher unbenutzte Anwendung.
Die zentrale Einschränkung: nur macOS. Engineering Lead Felix Rieseberg bestätigte, dass Windows-Support in den folgenden Wochen kommt, aber zum Start ist dies ein Apple-exklusives Feature. Claude Pro kostet 20 $/Monat, Max 100 $/Monat. Die Einstiegskosten: ein Mac plus Abonnement.
Sicherheitsrisiken, die Forscher bereits alarmieren
Einem KI-Agent die volle Kontrolle über Ihren Computer zu geben, ist aus Sicherheitsperspektive ein heikles Thema. Die Bedenken sind nicht theoretisch.
Prompt Injection am Desktop
Das größte Risiko bei Computer Use ist Prompt Injection über visuelle Inhalte. Wenn Claude Ihren Bildschirm liest, um die nächste Aktion zu bestimmen, kann ein Angreifer, der kontrolliert, was auf Ihrem Bildschirm erscheint (eine Webseite, eine E-Mail, ein Dokument), Claudes Verhalten potenziell beeinflussen. Stellen Sie sich eine bösartige E-Mail vor, die versteckte Anweisungen enthält, die Claude als Aufgabe interpretiert, und Claude führt pflichtbewusst etwas aus, das Sie nie gewollt haben.
Anthropic sagt, es habe Schutzmaßnahmen gegen Prompt Injection eingebaut, räumt aber ein, dass Computer Use „noch früh" im Vergleich zu Claudes Text- und Coding-Fähigkeiten ist. Die Funktion wird als Research Preview ausgeliefert, nicht als produktionsreifes Tool.
Für Unternehmen im DACH-Raum, die unter DSGVO und dem EU AI Act agieren, stellt sich eine zusätzliche Frage: Wenn ein KI-Agent Bildschirminhalte verarbeitet, die personenbezogene Daten enthalten, wie ist das datenschutzrechtlich zu bewerten? Anthropic betont, dass alle Daten lokal bleiben, aber die rechtliche Einordnung ist noch nicht geklärt.
Das Berechtigungsmodell
Claudes Sicherheitsmodell für Computer Use folgt einem Permission-First-Ansatz. Vor dem Zugriff auf jede neue Anwendung fragt Claude um explizite Genehmigung. Nutzer können die Ausführung jederzeit stoppen. Cowork führt Aufgaben in einer isolierten virtuellen Maschine auf Ihrer lokalen Hardware aus, mit kontrolliertem Datei- und Netzwerkzugriff, und Ihre Dokumente verlassen nie Ihren Rechner.
Diese Schutzmaßnahmen sind real, hängen aber davon ab, dass Nutzer gute Entscheidungen bei den Berechtigungen treffen. Wenn Sie Claude Zugriff auf Browser, E-Mail-Client und Dateisystem geben, haben Sie eine Angriffsfläche geschaffen, die in Echtzeit schwer zu überwachen ist, besonders wenn Sie nicht vor dem Bildschirm sitzen.
Risiken in der Lieferkette
Anfang 2026 fanden Sicherheitsforscher von Trail of Bits heraus, dass bösartige Commits in Repository-Konfigurationsdateien Claude Code kompromittieren konnten: API-Keys wurden exfiltriert, authentifizierter Traffic umgeleitet. Computer Use erbt diese Risiken und fügt neue hinzu: Wenn Claude Ihren Bildschirm sehen kann, kann es Passwörter, Tokens, Credentials und alles andere sehen, was auf Ihrem Monitor angezeigt wird.
Für wen Computer Use sinnvoll ist
Computer Use ist nicht für jeden gedacht. In dieser Phase macht es für drei Gruppen Sinn:
Power-User mit repetitiven Workflows. Wenn Sie jeden Morgen 30 Minuten damit verbringen, Daten aus drei verschiedenen Apps zusammenzutragen, die keine API haben, kann Computer Use das im Hintergrund erledigen.
Entwickler, die Claude Code erweitern. Claude Code hat bereits Terminal- und Dateizugriff. Computer Use ergänzt die Fähigkeit, mit grafischen Oberflächen zu interagieren: Test-Suites in IDEs ausführen, Dokumentationsseiten navigieren oder Deployment-Dashboards ausfüllen, die nur Web-Interfaces haben.
Early Adopter, die Risiko gegen Komfort tauschen. Wer die Sicherheitsimplikationen versteht und die Grenzen einer KI-Assistenz ausloten will, findet in Computer Use die leistungsfähigste verfügbare Implementierung.
Für den Enterprise-Einsatz in DACH-Unternehmen ist es noch zu früh. Die macOS-Beschränkung, der Research-Preview-Status und die offenen Prompt-Injection-Risiken machen es zu einem persönlichen Produktivitätstool, nicht zu einem compliance-fähigen Unternehmensfeature.
Häufig gestellte Fragen
Was ist Claude Computer Use?
Claude Computer Use ist Anthropics KI-Agent-Funktion, die Ihren Mac per Bildschirm, Maus und Tastatur steuert, um Aufgaben zu erledigen. Es macht Screenshots, identifiziert UI-Elemente durch Pixelzählung und führt Klicks und Tastatureingaben aus, um Anwendungen in Ihrem Auftrag zu bedienen.
Wie steuert Claude Computer Use meinen Desktop?
Claude folgt einem Drei-Stufen-Prioritätssystem. Zuerst versucht es direkte API-Integrationen (Google Calendar, Slack). Wenn keine existieren, nutzt es Browser-Automatisierung. Erst als letzter Ausweg greift es auf volle Bildschirmsteuerung zurück, bei der es Screenshots macht, Pixelkoordinaten berechnet und Mausklicks sowie Tastatureingaben simuliert.
Ist Claude Computer Use sicher?
Anthropic hat berechtigungsbasierte Schutzmaßnahmen implementiert: Claude fragt vor dem Zugriff auf neue Apps, läuft in einer isolierten VM und hält Daten lokal. Sicherheitsforscher haben jedoch Bedenken bezüglich Prompt Injection über visuelle Inhalte und die breite Zugriffsfläche geäußert. Es wird als Research Preview ausgeliefert, nicht als produktionsreifes Feature.
Funktioniert Claude Computer Use unter Windows?
Noch nicht. Zum Start am 24. März 2026 ist Computer Use nur für macOS verfügbar, für Claude Pro- und Max-Abonnenten. Anthropics Engineering Lead Felix Rieseberg bestätigte, dass Windows-Support in den folgenden Wochen erwartet wird.
Was ist Claude Dispatch und wie hängt es mit Computer Use zusammen?
Dispatch ist eine Funktion in Claude Cowork, die eine persistente Konversation zwischen Ihrem iPhone und Ihrem Mac erstellt. Sie koppeln die Geräte per QR-Code, dann senden Sie Claude Aufgaben per Nachricht vom Handy. Claude führt sie auf Ihrem Mac mit Computer Use aus und sendet die Ergebnisse zurück. Ihr Mac muss wach bleiben und die Claude-App laufen haben.