00:00Viele von uns sind mittlerweile nicht mehr leicht zu beeindrucken, wenn es um KI-Tools geht
00:02Eine Sache, auf die wir alle seit Monaten warten, sind KI-Tools, die in der Lage sind, Aufgaben autonom für uns zu erledigen
00:09Und auch wenn viele gedacht haben, dass OpenAI hier mal wieder der Konkurrenz als erstes zeigen wird, wie so etwas für Endnutzer aussehen könnte, hat jetzt Anthropic mit ihrer neuesten Ankündigung die ganze Welt geschockt
00:20Einfach gesagt: Mit Computer Use sind wir in der Lage, den Chatbot Claude auf die Steuerung unseres Computers zugreifen zu lassen
00:27Damit kann die KI dann beispielsweise den Browser öffnen, eine Suche starten oder sogar Dateien für uns anlegen und bearbeiten, alles nur auf Basis von einem Textprompt
00:34Das funktioniert dabei so, dass die KI einzelne Screenshots von unserem Bildschirm macht und dann die entsprechenden Anweisungen an den PC übergibt, um eine Aktion auszulösen
00:42Dabei sehen wir die ganze Zeit auf der linken Seite in einem Reiter, was die Aktion ist, und können so auch immer live dabei zusehen, wie die KI arbeitet
00:49In den Demo-Videos hat Anthropic beispielsweise gezeigt, wie Code automatisiert ein Formular ausfüllen kann und sich die dafür benötigten Daten ganz Eigenständig besorgt die Information, sind lokal auf dem PC, aber im Beispiel wird dem Bot erst mal eine Datei gegeben, die diese Daten nicht enthält, um zu zeigen, dass die KI in der Lage ist, den PC zu durchsuchen und das Problem selbstständig zu lösen
01:10In einem anderen Beispiel wird Claude damit beauftragt, einen guten Platz zu finden, an dem man morgen den Sonnenaufgang über der Grünen Gate Bridge sehen kann
01:18Zusätzlich soll er die Zeit, die man für die Fahrt braucht, herausfinden und anschließend einen Kalenderevent dafür einstellen
01:24Dazu verwendet Claude jetzt tatsächlich erst mal den Browser und startet
01:28Eine Google-Suche, um den besten Spot zu finden, anschließend öffnet die KI die Maps App und kalkuliert die Fahrzeit
01:34Nachdem das erledigt ist, wird noch mal eine Suche gestartet, um herauszufinden, wann am nächsten Tag die Sonne aufgeht
01:40Mit diesen Infos wird dann die Kalenderapp geöffnet und ein Termin mit einigen weiteren Infos eingestellt
01:45Wir haben hier also genau diesen virtuellen Assistenten, auf den wir alle so sehnlich warten, und laut eurem Feedback zum Advanced Voice Mode von GPT ist das genau das, was ihr eigentlich von der nächsten Generation der KI Tools erwartet
01:54Es ist wirklich
02:03Beeindruckend, und ja, es ist momentan noch ein Beta Feature, aber es ist trotzdem schön zu sehen, dass hier Anthropic mit den neuen Claude-Modellen mal wieder einen echten Satz nach vorne gemacht hat und konkret auf Anwendung geht und nicht immer nur versucht, den nächsten Bot bereitzustellen
02:12Wir arbeiten gerade auch noch an einem ausführlichen Use-Case-Video, damit ihr euch ein genaueres Bild machen könnt vom Ausmaß der Fähigkeiten von Computer Use
02:20Außerdem haben wir euch in der Videobeschreibung den Anthropic YouTube-Kanal verlinkt, wo ihr die Demo Videos in voller Länge findet, aber wir werden ja Nicht die digitalen Profis, wenn wir euch hier nur die Zusammenfassung der Demo-Videos geben würden
02:32Wir haben es natürlich schon ausprobiert, und deshalb zeige ich euch jetzt noch, wie ihr das Feature selbst verwenden könnt, worauf man dabei achten sollte und wie gut es sich wirklich in der Praxis schlägt
02:40Kleine Vorwarnung: Wir müssen die Anthropic API benutzen und ein paar Cent investieren, und wir müssen einen Installationsprozess mit einigen Schritten durchlaufen, aber es muss nichts programmiert werden oder ähnliches, und ich zeige jetzt alles ganz langsam in Ruhe, sodass eigentlich alle
02:55Mitkommen sollten, viel Spaß dabei! Um Computer Use selbst zu verwenden, müssen wir ein paar Schritte durchlaufen
03:00Wir gehen das jetzt aber wirklich Schritt für Schritt hier durch, und alle Seiten, die wir dafür brauchen, sind natürlich in der Videobeschreibung verlinkt
03:06Auch noch mal kurz der Hinweis: Wir brauchen auch ein bisschen Geld, um das Ganze zu nutzen, da wir die API von Anthropic verwenden und da entsprechende Anfragen gestellt werden
03:15Wir werden aber am Ende des Videos dann auch noch verraten, wie viel das wirklich gekostet hat, dann könnt ihr einfach selbst entscheiden, ob es euch das wert ist
03:22Erstmal selbst auszuprobieren
03:23Wir starten dazu in der Konsole von Anthropic, denn hier können wir mit der API arbeiten, und wir wollen erst einmal einen API-Schlüssel bekommen, denn den brauchen wir, wenn wir später dann Anfragen an Anthropic senden
03:34Diese Website ist in der Beschreibung natürlich verlinkt
03:38Ihr könnt euch hier einfach mit einem Account, den ihr für Claude auch nutzt, anmelden, wenn ihr den schon habt, ansonsten kann ganz leicht umsonst einer erstellt werden, und dann klicke ich einfach mal auf "Get API Keys", dann kommen wir nämlich in das entsprechende Menü hier und können einen neuen Schlüssel
03:53Anlegen, indem wir auf "Create Key" klicken
03:54Das mache ich jetzt einfach mal, und wir können dann einen Namen vergeben
03:58In meinem Fall könnte ich z.B
04:00sagen: "Computer Use Youtube"
04:02Diesen Key werde ich dann nachher auch wieder löschen, also ihr müsst es nicht probieren, den für eure Projekte zu verwenden
04:08Und ich habe einfach nur einen Workspace, den Standard-Workspace, dann kann ich den hier hinzufügen
04:13Ich füge das an dieser Stelle hinzu und bekomme dann hier meinen API Key, den ich direkt mal kopieren kann, denn den werden wir gleich noch brauchen
04:21Jetzt der wichtige Hinweis: Nur dieser API Key wird uns nicht weit
04:24helfen, denn wir müssen diese Anfrage natürlich auch bezahlen, und dazu müssen wir, um das Ganze zu verwenden, hier in unserem Backend bei Anthropic eine Zahlung hinzufügen
04:34Wir sehen, aktuell habe ich hier nichts in meinem Account drin, und ich kann jetzt einfach dieses Setup durchgehen, ein bisschen Geld hinüberweisen, und das können wir dann verwenden
04:43Das überspringe ich an dieser Stelle, ist aber eigentlich völlig selbsterklärend
04:46Man braucht allerdings aktuell leider eine Kreditkarte, um das Ganze hier einzuzahlen
04:49Ich habe jetzt hier einfach mal nur 5 $ eingezahlt, das sollte für uns absolut ausreichend sein, und dann können wir weitermachen
04:56Über die Dokumentation von Anthropic, die ein bisschen versteckt ist, kommen wir dann auf eine GitHub-Seite, auf der ein Quickstart-Projekt erstellt wurde von Anthropic selbst, mit dem wir Computer testen können
05:09Auch diese Seite, die wir hier sehen, habe ich euch aber direkt in der Beschreibung verlinkt, dann müsst ihr das nicht selbst suchen
05:14Und wir sehen, dass wir hier eigentlich dann ein paar Warnungen haben, also man muss aufpassen, damit, aber das ist auch genau der Grund, warum wir dieses Quickstart-Projekt verwenden, denn hier steht z.B., dass wir eine Virtuelle Maschine oder einen Container verwenden sollen, um zu verhindern, dass "use" etwas an unserer eigentlichen Umgebung macht, aber das ist genau, was wir von diesem Projekt hier bekommen
05:34Wir haben dann nämlich einen Docker Container, mit dem wir zum einen unser Chatfenster bekommen, zum anderen eine virtuelle Umgebung, in der Computer Use dann arbeiten kann
05:42Also, da können wir nichts an unseren echten Dateien damit verpfuschen, und das ist wirklich gut
05:47Wir sehen, dass wir hier dann eigentlich einen ganz einfachen Code bekommen, den wir ausführen müssen, das werden wir gleich zusammen machen
05:52Genau hierfür brauchen wir dann nämlich auch unseren API Key, den wir gerade eben kopiert haben
05:57Dementsprechend öffne ich jetzt einfach mal einen Texteditor bei mir auf dem Computer
06:01Wir sehen, dort habe ich diesen Code schon eingefügt, und hier muss ich jetzt nur noch meinen eigenen API Key eingeben
06:06Das mache ich dabei in Anführungszeichen und füge dann einfach das ein, was wir gerade bei Anthropic in der Konsole erstellt haben, und diesen ganzen Code muss ich jetzt eigentlich nicht in diesem Text Edit File speichern, sondern den können wir gleich direkt im Terminal zusammen ausführen
06:21Ich kopiere mir Also diesen kompletten Code einmal, und dann können wir unser Terminal öffnen, das sieht dann so aus, und hier können wir diesen Code dann einfügen und ausführen
06:32Wir müssen allerdings noch einen kleinen letzten Schritt machen, bevor das Ganze funktioniert, und das ist Docker zu installieren
06:38Hier wird das nicht wirklich erklärt, deswegen weisen wir im Video noch mal ausdrücklich drauf hin
06:43Auch diesen Link, also zu Docker, zu dieser Website, haben wir in der Beschreibung verlinkt
06:47Wir brauchen also drei Sachen: Wir brauchen den API Key bei Anthropic, wir brauchen das Quickstart Projekt, und wir brauchen Docker
06:53Bei Docker kann ich einfach direkt eine Version herunterladen, die für mich passt
06:57In meinem Fall ist das Mac und Apple Silicon, das gibt's aber auch für ältere Macs und Windows und Linux, also einfach das herunterladen, was für euch die passende Variante ist, und dann ist das eine ganz normale Installation
07:08Wir werden es hier auch gleich, wenn es runtergeladen ist, einmal kurz zusammen anschauen, ist aber wie gesagt wirklich nichts Wildes und man wird komplett durchgeführt
07:14Bei mir auf dem Mac sieht das Ganze so aus: Ich habe also einfach eine ganz normale Installationsdatei, die ich dann In Programme ziehen kann, und bei Windows bekommt man dementsprechend das übliche Setup und kann das ganz einfach mit ein paar Klicks installieren
07:27Sobald diese Installation dann passiert ist, bzw
07:30bei Mac ist es ja nur das rüberkopieren, eigentlich müssen wir Docker einmal öffnen, also das Programm selbst öffnen, auf Windows genauso, und wenn wir das dann erledigt haben, dann sollten wir endlich durchstarten können
07:41Wenn ich Docker öffne, dann muss ich zunächst einmal ein paar Dinge akzeptieren, das mache ich hier einfach mal, ich klicke auf Accept und ich wähle dann einfach die empfohlenen
07:49Einstellungen, also mehr muss ich hier gar nicht machen
07:51Wenn ich auf Finish klicke, muss ich in diesem Fall einmal kurz mein Passwort eingeben, und dann werden einfach ein paar Dinge für mich erledigt
07:57Wir sehen hier, dass Hintergründe und Objekte hinzugefügt werden, das ist alles jetzt erstmal nicht wichtig, und dann kann ich das verwenden
08:04Ich muss ja eigentlich auch gar nichts weiter machen, also ich muss keinen Account erstellen, ich kann das einfach alles mal überspringen, hier nicht so durchklicken, und dann sehe ich, jetzt funktioniert Docker hier, und ich kann das Ganze verwenden
08:14Ich kann auch dieses Fenster schließen, und dann können wir zurück zu unserem Terminal gehen
08:17Das öffne ich jetzt hier noch einmal, und hier können wir jetzt einfach den ganzen Code, den wir gerade eben verwendet haben bzw
08:24erstellt haben, einfügen
08:30Wir sehen auch hier noch mal, das ist der Code aus dem Projekt, und wir haben eben unseren Anthropic API Key dazu eingefügt, einfach hier in meine Konsole, in mein Terminal eingefügt
08:37Ich bestätige das einmal mit der Entertaste, und dann wird jetzt hier einiges für mich installiert bzw
08:40heruntergeladen
08:43Das kann, je nach Internetverbindung, auch eine Weile dauern
08:45Ich überspringe das
08:47Im Video mal und wir machen gleich weiter, wenn alles fertig ist
08:49So, nach etwa 3 Minuten ist bei mir alles erledigt
08:52Vielleicht auch noch mal kurz der Hinweis, das sieht natürlich wild aus für Leute, die vielleicht auch nicht so viel mit dem Terminal arbeiten, aber im Prinzip müssen wir hier gar nichts machen, wir können einfach abwarten, bis wir das hier sehen: "Computer Demo is ready" und dann sollen wir diese Adresse "Local Host 8080" in unserem Browser öffnen
09:08Das bedeutet, ich kann einfach diesen Text einmal kopieren hier aus meinem Terminal Fenster, dann springen wir zurück in unseren Browser und ich öffne
09:17Mal ein neues Tab, und dort rufe ich einfach diese URL auf
09:20Sobald ich das mache, sehe ich, wir haben tatsächlich jetzt dieses Fenster bekommen, und das ist diese Testumgebung, die uns Anthropic quasi zur Verfügung stellt
09:30Das bedeutet, wir haben hier auf der linken Seite unseren Chat, also hier können wir Nachrichten an Claude senden, und hier haben wir auf der rechten Seite diese virtuelle Umgebung
09:39Hier wird Computer Use dann für uns arbeiten
09:41Das bedeutet, es wird nicht auf unseren eigentlichen Computer zugegriffen, sondern einfach nur auf diese Testumgebung, und das ist natürlich sehr sinnvoll
09:48Man kann Diese Testumgebung übrigens auch selbst verwenden, dazu muss man hier oben die Screen Control anschalten
09:53Das bedeutet, jetzt kann ich hier selbst klicken und mal ausprobieren, wie das funktioniert, kann z.B
09:58hier einen Browser öffnen, wenn ich das möchte, einfach eine virtuelle Umgebung, in der man so ein bisschen arbeiten kann
10:04Ich möchte meine Screen Control jetzt wieder deaktivieren, das bedeutet, jetzt kann ich nichts mehr machen, sehen wir, ich kann nichts mehr anklicken und ich möchte einfach nur Claude eine Aufgabe geben
10:11Für dieses Video, um es jetzt wirklich nicht so lang zu machen, haben wir uns etwas relativ Leichtes überlegt, und dazu bitte ich Claude um Folgendes: Bitte finde den neuesten Artikel im Blog der Website digitaleprofis.de und kopiere den Text daraus in ein Dokument
10:26Das Ganze schicken wir dann einmal ab und schauen, was Claude daraus macht
10:30Der Agent ist noch relativ langsam, aber ich würde sagen, wir machen jetzt am Anfang mal alles tatsächlich in Echtzeit
10:36Sehen wir, ich werde Firefox öffnen und die Website aussuchen
10:41Das ist jetzt auf der rechten Seite passiert, und dann sehen wir hier auch immer die Beschreibung, wie Computer Use das Ganze gemacht hat
10:47Firefox wurde jetzt also geöffnet
10:52Wir sehen hier immer die Screenshots, die sich das Programm selbst macht, und dann können wir einfach ein bisschen weiter beobachten
10:57Jetzt wurde anscheinend digitaleprofis.de in die Adresszeile eingegeben, und wir sind auf unserer Website gelandet
11:04Jetzt wird es ein bisschen spannend, denn wir haben hier dieses Cookie-Banner, und ich schaue mal, wie die KI damit umgeht
11:11Es wird an dieser Stelle noch nicht abgebrochen, das wird immer weiter gemacht
11:16Wir sehen hier immer die Screenshots alle paar Sekunden, und tatsächlich scheint die Maus jetzt hier auf "Akzeptieren" zu sein
11:22Claude scheint also mit unseren entsprechenden Bedingungen, mit unseren Datenschutz Stellung zufrieden zu sein, und akzeptiert die Verwendung dieser Cookies
11:33Bis jetzt ist allerdings nicht viel Neues passiert
11:35Wir sehen hier oben zwar noch "running", allerdings wird jetzt schon lange kein neuer Screenshot mehr gemacht, also schauen wir einfach mal, was jetzt passiert
11:42Jetzt ist etwas passiert, also es hat tatsächlich eine Minute etwa gedauert, aber unser Cookie Banner ist verschwunden
11:48Das bedeutet, irgendwo wurde drauf geklickt, und wir sehen auch hier die Aktion "roll" noch mal kurz ein bisschen hoch "tooluse Computer" und
11:53Input Action leftclick, also das Cookie Banner wurde geschlossen
11:58Tatsächlich geht es jetzt schon relativ schnell weiter, wir sind in unserem Blog gelandet, also die KI hat verstanden, was ich möchte
12:03Ich habe gesagt, ich möchte den neuesten Artikel im Blog, und dieser wurde jetzt geöffnet
12:09Jetzt schauen wir mal, ist der nächste Schritt wahrscheinlich ein bisschen nach unten zu scrollen, denn aktuell finden wir keinen Artikel
12:14Ich hoffe, dass jetzt nicht einfach der digitale Profis Blogtext hier kopiert wird und als Artikel wahrgenommen, sondern ich hoffe, dass die KI schlau genug ist, ein bisschen
12:22Nach unten zu scrollen und zu schauen, ob da vielleicht ein Artikel zu finden ist
12:25Wir sehen auch hier, jetzt schon wieder eine Weile, nichts passiert
12:29Claude analysiert also aktuell diesen Screenshot und überlegt sich, was jetzt die nächste sinnvolle Aktion ist
12:35Ich werde auch das im Video jetzt noch mal ein bisschen überspringen und euch gleich, wenn es weiter geht, sagen, wie lange das in etwa gedauert hat
12:42Okay, 11 Sekunden ungefähr
12:49Wir sehen auch hier wurde da genau das gemacht, eigentlich was ich sagen wollte, es ist ein bisschen nach unten gescrollt worden, und jetzt haben wir einen Fehler bekommen und Das kann ehrlicherweise durchaus noch passieren bei dieser ersten Beta von Computer Use
12:55Am Fehler selbst hier erkenne ich jetzt erstmal nicht wirklich, woran das gelegen hat
12:59Wir sehen hier irgendwie, dass "Action is restricted for safety reasons at this time" eine gute Idee in diesem Fall ist
13:06Es ist immer mal dann auch wieder ins Terminal zu schauen, also ich wechsle zurück zum Terminal
13:10Hier wird das Ganze ja weiter ausgeführt, und hier sehen wir, dass wir tatsächlich einen Fehler bekommen haben, der etwas anders aussieht als der, den wir hier im Browser haben, denn hier steht einfach, dass eine bestimmte Library fehlt, also, dass wir hier einen Grafikfehler bekommen
13:23In diesem Fall, um das Ganze nicht direkt wieder crashen zu lassen, ist es meistens gut, alles noch mal neu zu starten
13:29Das bedeutet, ich bleibe hier im Terminal, und um diese Testumgebung zu beenden, muss ich einfach nur Control und C, also Steuerung C, drücken
13:37Wenn ich das einmal mache, dann sehen wir, das Ganze wurde jetzt hier abgebrochen
13:41Im Browser wird angezeigt "Fail to connect to server"
13:43Wir können das Tab dementsprechend auch schließen, und jetzt gehe ich einfach noch mal in ein Terminal und drücke einmal die Pfeiltaste nach oben, damit Fügen wir einfach unseren letzten Befehl ein, und ich werde das jetzt noch mal ausführen
13:55In diesem Fall geht das dann schneller, denn wir müssen jetzt hier nichts mehr herunterladen, sondern der Browser wird direkt für uns gestartet, und dann machen wir ihn gleich noch mal zusammen auf und schauen, ob wir mit einer vielleicht leichteren Aufgabe dann doch zum Ziel kommen
14:06Leider sind wir jetzt dann beim weiteren Testen auf ein anderes Problem gestoßen, wir haben einen "Rate Limit Error" bekommen
14:12Das bedeutet, aktuell scheint das Ganze auch noch eingeschränkt zu sein, trotz des Bezahlens für die API
14:17Tokens, dass wir hier eben zu viel rumprobiert haben, zu viel eingegeben haben und dann auf dieses Rate Limit gestoßen sind
14:22Das sah dann erstmal so aus, eine Minute, eine Sekunde, als ob wir das relativ schnell wieder verwenden konnten
14:28Das wurde aber nach jeweils zwei Nachrichten dann wieder erreicht, und so konnten wir jetzt an dieser Stelle leider nicht weiter arbeiten
14:35Nichtsdestotrotz haben wir uns noch ein paar interessante Use Cases überlegt, die wir dann in Zukunft auf jeden Fall auf dem Kanal noch vorstellen werden
14:42Vielleicht noch ganz kurz, bevor wir zum Outro übergehen, ein Blick zurück in
14:46Unsere Konsole hier, habe ich das Ganze nämlich schon mal aktualisiert, und wir sehen, dass wir aktuell von unseren 5 $ Initialen noch 4,20 übrig haben
14:54Das bedeutet, wirklich viel Geld hat das Ganze nicht gekostet, vor allem, wenn man bedenkt, dass wir im Voraus auch schon ein paar Tests gemacht haben
14:59Also, ein Use Case, so wie wir am Anfang gemacht haben, mit unserem ersten Prompt, dass wir also diesen Artikel finden wollen etc., das hat hier, wir haben kurz danach geschaut, ungefähr 8 bis 9 Cent gekostet, sodass man also wirklich mit relativ geringen Beträgen noch viel erreichen kann
15:14Natürlich gibt es noch Kleinigkeiten, die man verbessern kann, aber wie schon mehrfach gesagt, handelt es sich eben um ein Beta Feature, das keinen Anspruch auf perfekte Ergebnisse stellt
15:23Trotzdem schade, dass wir in unserem ersten Versuch jetzt kein finales Ergebnis bekommen haben, aber ich bin mir sicher, das schaffen wir in Zukunft dann mit den anderen Use Cases noch
15:31Wir sind hier vermutlich in einer ähnlichen Situation wie bei der Vorstellung der Artifactsfunktion von Anthropic vor mehreren Wochen
15:36Die Firma hinter Kot legt mit einem beeindruckenden Modell und einer direkten Anwendung davon mal wieder vor und
15:42Zwingt so die Giganten wie OpenAI zum Handeln
15:44Nachdem alle von Artifact so begeistert waren, hat JetGPT die Canvasfunktion bekommen, und es ist nicht unwahrscheinlich, dass auch eine Reaktion auf Computer Use nicht lange auf sich warten lassen wird
15:55Und damit meinen wir nicht das Swarm Konzept, das vor kurzem vorgestellt wurde, sondern viel mehr eine richtige Anwendung für alle GPT User
16:00Wir sind auf jeden Fall gespannt und für den Moment sehr beeindruckt von der Funktionalität von Computer Use
16:06Schreibt uns doch gerne in die Kommentare, ob das in etwa ist, wie ihr euch die zukünftige Zusammenarbeit vorstellt
16:11Mit KI vorstellt und was für Use-Cases euch dazu noch für unser nächstes Video einfallen
16:15Ansonsten freue ich mich wie immer über Likes, nette Kommentare und Abos für unseren Kanal
16:19Mein Name ist Johannes Ruf und wir sehen uns im nächsten Video.
