DeepFloyd IF 1.0.1

DeepFloyd IF ist ein Text-to-Image Generator speziell für Grafiken, die Schrift enthalten. Dies können etwa Logos oder Schilder sein, aber auch beliebige andere grafische Darstellungen, die in irgendeiner Form Buchstaben oder Schriftzüge enthalten.

Bilder generieren über mehrere Schritte

DeepFloyd IF beginnt mit der Generierung eines Bildes basierend auf den Anweisungen, die man als Freitext übermittelt hat. Dies ist sowohl in englischer als auch deutscher Sprache möglich. Die generierten Bilder haben anfangs eine Größe von 64 x 64 Pixeln. Dabei stehen drei Basismodelle zur Auswahl: IF-I 400M, IF-I 900M und IF-I 4.3B, wobei jede Variante eine unterschiedliche Anzahl an Parametern aufweist. Anschließend durchläuft das Bild zwei Superresolution-Schritte, bei denen weitere Details hinzugefügt werden. Dabei erreicht es über einen Zwischenschritt von 256 x 256 Pixeln schließlich eine native Auflösung von 1024 x 1024 Pixeln. Die erzeugten Bilder dürfen nur für persönliche Zwecke genutzt werden.

Bild 1 von 1

DeepFloyd IF

DeepFloyd IF und Stable Diffusion

Entwickelt wird DeepFloyd von Stability AI, einem führenden Softwarehersteller, der für seinen Bildgenerator Stable Diffusion bekannt ist. DeepFloyd IF basiert auf dem bisher unveröffentlichten KI-Bildgenerator Imagen von Google. Der Bildgenerator verwendet ein Large-Language-Model (LLM), das mit einem kaskadierenden Pixel-Diffusion-Modell verbunden ist.

Spezielles Sprachmodell für sinnvollere Ausgaben

Eine besondere Eigenschaft von IF ist der Einsatz eines Sprachmodells namens "T5-XXL-1.1", das von Google Research als Open Source zur Verfügung gestellt wurde. Dieses Modell verbessert das Verständnis der Texteingaben (Prompts) und erzeugt eine sinnvollere Ausgabe.