Anleitungen

Llamafiles

Llamafiles ist ein Opensource Projekt, was ursprünglich von Mozilla entwickelt wurde.
Es ermöglicht die einfache Nutzung von LLMs aus einer Singledatei ohne Installation.

Zusätzlich ist es Crossplatformfähig. Die gleiche Datei wird sowohl unter Windows als auch unter Linux verwendet.

Eine Anleitung ist unter Mozilla.ai zu finden und der Quellcode unter Github.com

Die fertigen Modelle können bei Hugging Face heruntergeladen werden.

Für weitere Informationen steht eine Dokumentation unter https://docs.mozilla.ai/llamafile zur verfügung.

Parameter

Parameter Beschreibung
--gpu \<Parameter> Angabe der folgende GPUs wenn keine automatisch erkannt wurde [auto|apple|nvidia|amd]

Windows

WICHTIG: Bei der Nutzung von Windows und einem .llamafile darf die Dateigröße die 4GB nicht übersteigen.

  1. Datei mit Endung .llamafile von Hugging Face herunterladen
  2. Die Dateiändung von .llamafile in .exe umbennen
  3. Über ein CMD Fenster die .exe Datei ausführen.
  4. Entweder direkt den Chat im CMD Fenster nutzen oder über ein Browser auf http://127.0.0.1:8080 zugreifen.

Das Programm erkennt automatisch, ob die GPU genutzt werden kann oder ob das Modell über die CPU läuft.

Linux

  1. Datei mit Endung .llamafile von Hugging Face herunterladen
  2. Mit chmod u+x Qwen3.5-0.8B-Q8_0.llamafile die herunter geladenen Datei ausführbar machen
  3. Ausführen der Datei ./Qwen3.5-0.8B-Q8_0.llamafile
  4. Entweder direkt den Chat im CMD Fenster nutzen oder über ein Browser auf http://127.0.0.1:8080 zugreifen.

llamafile mit externer gguf aufrufen

Es ist auch möglich mit llamfile selbst ein externs .gguf File aufzurufen.
Dieses ist hilfreich, um das 4GB Limit von Windows zu umgehen oder wenn es keine fertiges .llamafile gibt.