Flux ist derzeit in aller Munde. Das von Black Forest Labs entwickelte Bildgenerierungs-Tool ist eine echte Alternative zum aktuellen Platzhirschen MidJourney.

Was Flux besonders macht, ist seine Open-Source-Natur und die Verfügbarkeit verschiedener Modelle, die auf unterschiedliche Benutzerbedürfnisse zugeschnitten sind. Egal, ob Sie Entwickler, Künstler oder einfach nur kreativ sind, Flux bietet für jeden etwas.

Was ist Flux AI?

Flux AI ist ein kostenloses, quelloffenes Werkzeug zur Bilderzeugung, das in der Lage ist, qualitativ hochwertige Bilder auf Basis von Textaufforderungen zu erstellen. Es bietet drei Hauptmodelle:

1. Flux Pro: Dies ist das Modell mit der höchsten Qualität, das die detailliertesten und realistischsten Bilder erzeugt. Es ist jedoch nicht kostenlos verfügbar und erfordert in der Regel Zugriff über spezialisierte Tools oder Umgebungen.

2. Flux Dev: Dieses Modell ist auf Entwickler zugeschnitten und ideal für diejenigen, die mit verschiedenen Einstellungen und Integrationen experimentieren möchten. Es ist eine vielseitige Wahl für die Erstellung benutzerdefinierter Workflows.

3. Flux Schnell: Dieses Modell ist für den persönlichen Gebrauch konzipiert und bietet ein gutes Gleichgewicht zwischen Qualität und Leistung, was es auch für Benutzer mit weniger leistungsfähiger Hardware zugänglich macht.

Erste Schritte mit Flux AI auf Hugging Face

Da Flux ein Open Source Modell ist, kann es mittlerweile über eine Vielzahl von Platformen angesprochen werden. Der einfachste Weg, Flux AI zu nutzen, ist über die Plattform Hugging Face, insbesondere über den Black Forest Lab Space. Diese Umgebung ermöglicht es Ihnen, zwischen den Modellen Flux Dev und Flux Schnell zu wählen und Bilder direkt in Ihrem Browser zu erzeugen, ohne dass eine lokale Installation erforderlich ist.

1. Besuchen Sie den Hugging Face Lab Space: Navigieren Sie zum Black Forest Lab Space auf Hugging Face, wo Sie das Modell Ihrer Wahl auswählen können.

2. Wählen Sie Ihr Modell: Für allgemeine Zwecke wird Flux Dev empfohlen, da es ein gutes Gleichgewicht zwischen Qualität und Ressourcennutzung bietet. Nach der Auswahl des Modells werden Sie zu einer einfachen Benutzeroberfläche für die Bilderzeugung weitergeleitet.

3. Übersicht über die Benutzeroberfläche: Die Benutzeroberfläche ist benutzerfreundlich und enthält oben ein einfaches Textfeld für Ihre Eingaben. Hier können Sie Ihre Textaufforderung eingeben, die zur Generierung des Bildes verwendet wird. Zusätzlich stehen erweiterte Einstellungen wie Seed, Breite, Höhe, Guidance Scale und Inference Steps zur Verfügung, für Nutzer, die mehr Kontrolle über das Ergebnis haben möchten.

Flux Pro kostenlos nutzen mit Glif

Während Flux Pro normalerweise nicht kostenlos ist, können Sie es über ein Tool namens Glif kostenfrei nutzen. Glif ist ein KI-Workflow-Builder, mit dem Sie verschiedene KI-Modelle integrieren und komplexe Workflows erstellen können. So richten Sie es ein, um Flux Pro zu nutzen:

1. Zugriff auf Glif: Besuchen Sie die Glif-Plattform und klicken Sie auf "Build" oben auf der Seite. Wählen Sie "Start Building with Glyph Blocks", um mit der Erstellung Ihres Workflows zu beginnen.

2. Erstellen des Workflows

  - Text Input Block: Erstellen Sie einen Block mit dem Namen "Basic Prompt", in dem Benutzer ihre Textaufforderungen eingeben können.

  - Prompt Enhancer: Fügen Sie einen Block für die Textgenerierung mithilfe eines Sprachmodells (wie Claude 3.5 oder ChatGPT) hinzu, um die Aufforderung zu verfeinern und für eine bessere Bilderzeugung zu optimieren.

  - Image Generator: Fügen Sie schließlich einen Block für die Bilderzeugung hinzu. Wählen Sie Flux Pro aus dem Dropdown-Menü als Ihr Bildgenerierungsmodell.

3. Einstellungen konfigurieren: Stellen Sie die Bildgröße z.B. auf Landschaft (16:9) für optimale Ergebnisse ein. Ihr Workflow ist nun einsatzbereit, und Sie können mit der Generierung von Bildern beginnen, indem Sie Aufforderungen in das dafür vorgesehene Feld eingeben.

Erweiterte Einrichtung: Flux lokal mit Comfy UI ausführen

Für Benutzer, die Flux AI lieber lokal ausführen möchten, insbesondere mit dem Flux Dev-Modell, bietet die Einrichtung auf Comfy UI eine anpassbare Umgebung. Wenngleich Comfy eine GUI (Graphical User Interface besitzt), ist diese Alternative technisch etwas anspruchsvoller. Hier ist eine Schritt-für-Schritt-Anleitung:

1. Comfy UI installieren: Wenn Sie dies noch nicht getan haben, installieren Sie Comfy UI, indem Sie den Anweisungen im offiziellen Leitfaden folgen.

2. Notwendige Modelle herunterladen:

  - Text Encoder Modelle: Laden Sie die entsprechenden Text-Encoder-Modelle von Hugging Face herunter, basierend auf den Fähigkeiten Ihres Systems (z.B. FP16 für High-End-Maschinen, FP8 für niedrigere Spezifikationen).

  - VAE Modelle: Laden Sie die VAE-Modelldateien herunter und legen Sie sie im richtigen Verzeichnis innerhalb von Comfy UI ab.

  - Flux Modelle: Wählen Sie zwischen den Modellen Flux Schnell und Flux Dev, basierend auf den Spezifikationen Ihrer Hardware. Laden Sie die Modellsdateien herunter und platzieren Sie sie im „unet“-Ordner innerhalb Ihres Comfy UI-Verzeichnisses.

3. Workflows einrichten: Verwenden Sie vorgefertigte Workflows oder erstellen Sie eigene, indem Sie die Modellsdateien in Comfy UI ziehen und ablegen. Möglicherweise müssen Sie die Modellpfade in der Benutzeroberfläche anpassen, um Ihrer Einrichtung zu entsprechen.

4. Feinabstimmung und Anpassungen: Experimentieren Sie mit verschiedenen Einstellungen wie der Anzahl der Inference-Steps, Guidance Scales und dem neuen Flux Guidance Node für eine verbesserte Realitätsnähe.

Finetuning von Flux

Die Feinabstimmung von KI-Modellen ist eine der spannendsten Möglichkeiten, die moderne Künstliche Intelligenz bietet. Mit der Veröffentlichung der FLUX.1-Modelle steht uns nun ein leistungsstarkes Werkzeug zur Verfügung, das nicht nur beeindruckende Bilder generieren kann, sondern auch feinabgestimmt werden kann, um Ihre spezifischen Anforderungen zu erfüllen.

Was ist Feinabstimmung?

Feinabstimmung (Fine-Tuning) bezieht sich auf den Prozess, bei dem ein vortrainiertes KI-Modell, wie FLUX.1, weiter mit einem spezifischen Datensatz trainiert wird. Dies ermöglicht es dem Modell, neue Konzepte, Stile oder sogar spezifische Charaktere zu erlernen, die in den ursprünglichen Trainingsdaten nicht enthalten waren.

Der Prozess der Feinabstimmung funktioniert folgendermaßen: Das Modell wird mit einem neuen Satz von Bild-Beschreibungs-Paaren trainiert, wodurch die internen Zuordnungen des Modells angepasst werden. Auf diese Weise können Sie dem Modell beibringen, ein bestimmtes Konzept mit einem speziellen Textstring zu verknüpfen. Wenn dieser String in einer Eingabeaufforderung enthalten ist, aktiviert das Modell die erlernte Assoziation und generiert Bilder, die Ihrem spezifischen Konzept entsprechen.

Warum sollten Sie FLUX.1 Feinabstimmen?

FLUX.1 ist bereits ein beeindruckendes Modell, das realistische Hände, lesbaren Text und sogar komplexe Aufgaben wie die Erstellung von Memes meistern kann. Durch die Feinabstimmung können Sie jedoch sicherstellen, dass das Modell spezifisch auf Ihre Bedürfnisse zugeschnittene Bilder erzeugt. Ob Sie Charaktere aus einem Comic, ein bestimmtes Kunstgenre oder sogar Ihre eigene Marke repräsentieren möchten – mit der Feinabstimmung können Sie das Modell genau auf diese Anforderungen hin optimieren.

Vorbereitung Ihrer Trainingsdaten

Bevor Sie mit der Feinabstimmung beginnen, müssen Sie einen Datensatz von Bildern vorbereiten, die das Konzept repräsentieren, das Sie dem Modell beibringen möchten. Hier sind einige Richtlinien:

- Anzahl der Bilder: Verwenden Sie 12-20 Bilder für beste Ergebnisse.

- Bildgröße: Verwenden Sie nach Möglichkeit große Bilder, um detaillierte Ergebnisse zu erzielen.

- Dateiformate: JPEG oder PNG sind die bevorzugten Formate.

- Bildunterschriften: Optional können Sie für jedes Bild eine entsprechende .txt-Datei mit derselben Bezeichnung erstellen, die die Bildunterschrift enthält.

Sobald Ihre Bilder (und optionalen Bildunterschriften) vorbereitet sind, zippen Sie diese in eine einzelne Datei, um sie auf Replicate hochzuladen.

Feinabstimmung von FLUX.1 auf Replicate

Replicate ist eine Plattform, die es einfach macht, KI-Modelle über eine API auszuführen, ohne sich um leistungsstarke GPUs oder komplexe Umgebungen kümmern zu müssen. Sie können FLUX.1 direkt auf Replicate finetunen, indem Sie Ihre Bilder hochladen und einige einfache Schritte befolgen.

Training über die Weboberfläche erstellen

1. Model auswählen: Navigieren Sie zum ostris Flux Trainer auf Replicate und wählen Sie ein vorhandenes Modell als Ziel aus oder erstellen Sie ein neues, indem Sie den Namen im Modell-Auswahlfeld eingeben.

2. Bilder hochladen: Laden Sie die gezippte Datei mit Ihren Trainingsdaten als `input_images` hoch und richten Sie die Trainingsparameter ein.

3. Triggerwort festlegen: Das `trigger_word` ist der Begriff, der das trainierte Konzept aktiviert. Wählen Sie ein einzigartiges Wort oder einen Ausdruck, der nicht mit anderen Konzepten oder Feinabstimmungen kollidiert.

4. Training starten: Klicken Sie auf „Create training“, um den Feinabstimmungsprozess zu starten. Ein guter Ausgangspunkt für die Anzahl der Schritte ist 1000.

Feinabstimmung über eine API erstellen

Wenn Sie es vorziehen, Ihr Training über eine API zu starten, können Sie dies ebenfalls tun, allerdigs wird es hier schon technisch anpruchsvoll!

1. Modell erstellen: Zunächst müssen Sie ein neues Modell erstellen, das als Ziel für Ihre feinabgestimmten Gewichte dient.

  ```python

  import replicate

  model = replicate.models.create(

    owner="IhrBenutzername",

    name="flux-ihr-modellname",

    visibility="public", # oder "private", wenn Sie es bevorzugen

    hardware="gpu-t4", # Replicate wird dies für feinabgestimmte Modelle überschreiben

    description="Ein feinabgestimmtes FLUX.1-Modell"

  )

  print(f"Model created: {model.name}")

  print(f"Model URL: https://replicate.com/{model.owner}/{model.name}")

  ```

2. Training starten: Nachdem Ihr Modell erstellt wurde, können Sie das Training starten, indem Sie eine neue Trainingsrunde erstellen. Dabei geben Sie die Eingabebilder, die Anzahl der Schritte und weitere gewünschte Parameter an.

  ```python

  training = replicate.trainings.create(

    version="ostris/flux-dev-lora-trainer:4ffd32160efd92e956d39c5338a9b8fbafca58e03f791f6d8011f3e20e8ea6fa",

    input={

      "input_images": open("/pfad/zu/ihren/lokalen/training-images.zip", "rb"),

      "steps": 1000,

      "hf_token": "IHR_HUGGING_FACE_TOKEN", # optional

      "hf_repo_id": "IHRE_HUGGING_FACE_REPO_ID", # optional

    },

    destination=f"{model.owner}/{model.name}"

  )

  print(f"Training started: {training.status}")

  print(f"Training URL: https://replicate.com/p/{training.id}")

  ```

Das Training dauert in der Regel 20-30 Minuten und kostet weniger rund 2 USD.

3. Verwendung Ihres feinabgestimmten Modells

Sobald das Training abgeschlossen ist, können Sie Ihr feinabgestimmtes Modell direkt auf Replicate verwenden. Sie können es entweder über die Weboberfläche oder über eine API ausführen. Fügen Sie in der Eingabeaufforderung einfach das Triggerwort hinzu, um Ihr trainiertes Konzept zu aktivieren.

Schnellere Generierung mit FLUX.1 [schnell]

Wenn Sie schneller und kostengünstiger Bilder generieren möchten, können Sie Ihr FLUX.1 [dev] LoRA-Modell mit dem kleineren FLUX.1 [schnell] Modell verwenden. Ändern Sie dazu den Modellparameter von `dev` zu `schnell` und reduzieren Sie die Anzahl der Inferenzschritte auf etwa 4.

Beispiele und Anwendungsfälle

Schauen Sie sich die Beispielgalerie auf Replicate an, um Inspiration zu finden. Dort können Sie sehen, wie andere Benutzer FLUX.1 feinabgestimmt haben, um verschiedene Stile, Charaktere und sogar eine endlose Parade von niedlichen Tieren zu erstellen.

Lizenzierung und kommerzielle Nutzung

Wenn Sie Bilder mit den FLUX.1-Modellen und deren Feinabstimmungen auf Replicate generieren, können Sie die Bilder kommerziell nutzen. Wenn Sie jedoch die Gewichte von Replicate herunterladen und die Bilder auf Ihrem eigenen Computer erzeugen, können Sie die Bilder nicht kommerziell verwenden.

Fazit

Flux AI ist ein revolutionäres Werkzeug im Bereich der KI-Bilderzeugung, das eine Reihe von Modellen bietet, um unterschiedlichen Bedürfnissen gerecht zu werden, und eine robuste Alternative zu anderen beliebten Tools wie MidJourney darstellt. Ob Sie die Einfachheit einer Online-Oberfläche über Hugging Face bevorzugen oder die volle Kontrolle einer lokalen Einrichtung mit Comfy UI, Flux gibt Ihnen die Flexibilität, atemberaubende Bilder mit Leichtigkeit zu erstellen. Mit Tools wie Glyph, die kostenlosen Zugang zu Premium-Modellen wie Flux Pro ermöglichen, sind die Möglichkeiten nahezu unbegrenzt.

Mit dieser Anleitung sind Sie bestens gerüstet, um Flux AI zu meistern und seine Fähigkeiten zu nutzen, um Ihre kreativen Visionen zum Leben zu erwecken.