Apple bringt seine GenAI 'Apple Intelligence' zu Entwicklern und ermöglicht es Siri, Apps zu steuern

Apple Intelligence, Apples neues generatives KI-Angebot, wird nicht nur eine Funktion für Verbraucher sein; auch Entwickler können von der neuesten Technologie profitieren. Auf der WWDC 2024 kündigte das Unternehmen an, dass Entwickler die Erfahrung, die von Apple Intelligence unterstützt wird, in ihre eigenen Apps integrieren können.

Apples SDKs (Softwareentwicklungskits) wurden mit einer Vielzahl neuer APIs und Frameworks aktualisiert, die es App-Entwicklern ermöglichen, Dinge wie die Integration des Image Playground - oder der GenAI-Bildgenerierung - mit nur wenigen Codezeilen zu realisieren. Apple zeigte, wie eine App wie Craft dieses Angebot nutzen könnte, um die Dokumente der Benutzer visueller zu gestalten, indem sie KI-Bilder hinzufügen.

AI-gestützte Schreibwerkzeuge werden auch automatisch in jeder App verfügbar sein, die die standardmäßige bearbeitbare Textansicht verwendet. Apple demonstrierte, wie eine App wie Bear Notes Benutzern automatisch das Umformulieren, Korrekturlesen und Zusammenfassen ihrer Notizen ermöglichen würde.

Darüber hinaus entwickelt Apple weitere Möglichkeiten für Entwickler, Aktionen in Apps mit Siri auszuführen.

Entwickler, die bereits SiriKit - ein SDK zur Integration von Siri in ihre Apps - übernommen haben, werden laut Apple sofort von vielen neuen Fähigkeiten von Siri profitieren können, ohne zusätzliche Arbeit leisten zu müssen. Dies umfasst Bereiche wie Listen, Notizen, Medien, Messaging, Zahlungen, Restaurantreservierungen, VoIP-Anrufe und Workouts.

In seiner Entwickler-Keynote sagte Apple, dass es zwei neue Siri-Fähigkeiten gibt, von denen Entwickler profitieren können, ohne zusätzliche Arbeit leisten zu müssen. Erstens wird Siri in der Lage sein, jedes Element aus den Menüs einer App aufzurufen. Das bedeutet, dass ein Benutzer etwas wie "zeige meine Präsentator-Notizen" sagen könnte, wenn er sich in seiner Präsentation befindet, oder sogar etwas Gesprächigeres wie "Ich muss meine Sprecher-Notizen sehen".

Zweitens wird Siri Zugriff auf jeden Text haben, der auf der Seite angezeigt wird, indem es Apples standardisierte Textsysteme verwendet. Dies wird es Benutzern ermöglichen, auf den Bildschirmtext zu verweisen und entsprechende Aktionen auszuführen. Wenn Sie beispielsweise eine Erinnerung oder Notiz haben, "Opa zum Geburtstag gratulieren", könnten Sie einfach "FaceTime ihn" sagen, um auf diese Notiz zu reagieren.

In der Zwischenzeit wird auch das App-Intents-Framework von Apple, das leichte App-ähnliche Interaktionen ohne die Installation der App ermöglicht, Zugriff auf Apple Intelligence erhalten.

Apple definiert neue Absichten und macht sie Entwicklern in einer Reihe von Kategorien zugänglich, beginnend mit einer Unterkategorie, darunter Bücher, Browser, Kameras, Dokumentenleser, Dateiverwaltung, Zeitschriften, E-Mail, Fotos, Präsentationen, Tabellenkalkulationen, Whiteboards und Textverarbeitung.

Bildnachweis: Apple

Diese Absichten sind laut Apple definiert und getestet, so dass sie für Entwickler einfacher zu übernehmen sind.

Mit den Absichten könnte eine Bildbearbeitungs-App wie Darkroom die "Filter anwenden"-Absicht nutzen, damit Benutzer einfach sagen könnten "Wenden Sie auf das Foto, das ich gestern von Ian gemacht habe, einen kinoreifen Effekt an", um die App zu handeln. Im Laufe der Zeit werden weitere Domänen hinzugefügt.

Zunächst können Benutzer mit der Shortcuts-App entwickeln, aber im Laufe der Zeit wird Siri in der Lage sein, die App-Absichten in den unterstützten Domänen aufzurufen.

Darüber hinaus teilte Apple in seiner Keynote-Rede mit, dass Apps, die in eine vorhandene SiriKit-Domäne passen, von den verbesserten Gesprächsfähigkeiten von Siri profitieren können, wie beispielsweise korrekte Antworten, auch wenn Sie Ihre Wörter verwechseln, und das Verständnis von Verweisen auf einen früheren Teil des Gesprächs.

Außerdem wird Siri in der Lage sein, Daten aus Apps mithilfe einer neuen Spotlight-API zu durchsuchen, die es ermöglicht, App-Entitäten in den Index aufzunehmen. Diese Entitäten beziehen sich auf den semantischen Index von Apple Intelligence mit Dingen wie Fotos, Nachrichten, Dateien, Kalendereinträge und mehr.

Außerdem kündigte das Unternehmen am Montag seine eigene Passwort-Manager-App, den KI-generierten Bitmoji und den Taschenrechner für das iPad an.

Dieser Beitrag wurde nach der Veröffentlichung um weitere Informationen aus der Entwickler-Keynote aktualisiert.