Google AI Edge Gallery

Mit der Google AI Edge Gallery ist es möglich, KI-Modelle auf dem Smartphone zu installieren und offline auszuführen. Nach dem Herunterladen der Modelle ist keine Internetverbindung mehr nötig und es werden keine Daten in die Cloud übermittelt. Anwender können mit verschiedenen Modellen experimentieren, Fragen zu Bildern stellen, Prompts erforschen und mit der KI chatten.

Bild 1 von 1

Google AI Edge Gallery

KI-Modelle lokal installieren und offline nutzen

Mit Google AI Edge Gallery lassen sich abhängig vom installierten KI-Modell zum Beispiel Fragen zu hochgeladenen Bildern stellen, um Objekte zu identifizieren oder Bildbeschreibungen zu erhalten. Im "Prompt Lab" kann man Texte zusammenfassen, umschreiben, Code generieren oder mit Freitexteingaben die Fähigkeiten großer Sprachmodelle austesten. Zudem ist es möglich Unterhaltungen mit der KI im Chat-Modus zu führen und zwischen verschiedenen Modellen von Hugging Face zu wechseln sowie deren Leistung zu vergleichen. Auch eigene LiteRT-Modelle kann man im TASK-Format in die App laden und testen. Ferner liefert die App in Echtzeit Informationen zur Performance, wie die Zeit bis zur ersten Antwort, die Dekodiergeschwindigkeit und die Latenz. Für Entwickler gibt es außerdem Links zu den Modellkarten und Quellcodes.

Die Technologie der App

Für die technische Umsetzung nutzt die App im Hintergrund Frameworks und Tools von Google. Darunter sind Google AI Edge als Kern-API und Werkzeugsammlung für ML auf Geräten, die LiteRT-Laufzeitumgebung für optimierte Modellausführung, die LLM Inference API zum Betrieb großer Sprachmodelle auf dem Gerät und die Integration von Hugging Face zur Suche sowie zum Download von Modellen.

Google AI Edge Gallery einsetzen

Um die Google AI Edge Gallery auszuprobieren, lädt man die aktuelle APK-Datei herunter und installiert sie. Eine ausführliche Anleitung inklusive Informationen zur Installation auf Firmengeräten sowie ein vollständiges Benutzerhandbuch finden sich im Projekt-Wiki auf GitHub.

Alternativen zu Google AI Edge Gallery

Google AI Edge Gallery ist nicht die einzige KI-App, mit der man generative KI auf dem Smartphone nutzen kann. So gibt es von Opera den KI-Agenten Opera Neon, der eigenständig im Internet surft, Aufgaben erledigt und den Nutzer bei seinen Aufgaben unterstützt. Zudem sind auch andere KI-Unternehmen wie Anthropic, das durch Claude bekannt ist, dabei, lokal nutzbare KI-Anwendungen zu schaffen. Diese sind in der Regel auf Chats beschränkt und bieten nicht die Funktionen und Experimentiermöglichkeiten von Google AI Edge Gallery. Gegebenenfalls ist auch eine Internetverbindung nötig, wenn sich etwas nicht lokal auf dem Gerät ausführen lässt.