Kann ein Mini PC ein Sprachmodell mit 70 Milliarden Parametern ausführen? Ja, wenn drei Dinge stimmen: genug Arbeitsspeicher, eine passend quantisierte Modelldatei und eine AMD-Plattform, die von ROCm offiziell unterstützt wird. Eine NPU-Angabe im Datenblatt sagt darüber wenig aus. Entscheidend sind Größe und Geschwindigkeit des Speichers sowie die richtigen Treiber.
In dieser Anleitung erfahren Sie, welche Hardware Sie für Llama 3.1 70B brauchen, wie Sie AMD ROCm unter Ubuntu einrichten und wie Sie das Modell mit Ollama oder llama.cpp starten. Ein Desktop-PC mit leistungsstarker Grafikkarte ist insgesamt schneller. Für den Schreibtisch oder ein kleines Büro ist ein Mini PC mit viel Speicher aber eine kompakte Alternative.
Warum ein Mini PC für lokale LLMs?
- Datenschutz: Ihre Daten bleiben auf dem Gerät.
- Keine laufenden Kosten: Sie zahlen nicht pro Anfrage.
- Offline nutzbar: Nach der Einrichtung funktioniert das Modell auch ohne Internet.
- Kompakt: gut geeignet für Homelab und kleine Büros.
Wie schnell ein lokales LLM antwortet, hängt von Software, AMD-Prozessor und verfügbarem Speicher ab. Läuft das Modell teils auf der CPU und teils auf der Grafikeinheit, reicht das zum Testen, ist aber langsamer. Für viele Nutzer gleichzeitig ist ein Desktop mit eigener Grafikkarte die bessere Wahl.
Kann ein Mini PC Llama 3.1 70B wirklich ausführen?
Llama 3.1 70B hat 70 Milliarden Parameter und ein Kontextfenster von bis zu 128.000 Token. In voller Genauigkeit ist das Modell für einen Mini PC zu groß. Der praktikable Weg ist eine quantisierte GGUF-Datei, meist in Q4 oder Q5.
- Laut der Quantisierungsanleitung von llama.cpp ist eine Q4_K_M-Datei rund 43,1 GB groß. Das ist die Dateigröße, nicht der gesamte Speicherbedarf im Betrieb.
- Hinzu kommt der KV-Cache für den Kontext. Laut Hugging Face braucht er in FP16 etwa 4,9 GB bei 16.000 Token und 39 GB bei 128.000 Token.
Unsere Empfehlung: Für einen Test mit Q4 planen Sie 128 GB Arbeitsspeicher ein. Mit 64 GB lässt sich die Datei zwar laden, es bleibt aber kaum Reserve für Kontext und System. Beginnen Sie mit 4.000 Token Kontext und erhöhen Sie schrittweise. Laufzeitumgebung, Speichergeschwindigkeit, Aufteilung zwischen CPU und GPU sowie die Temperatur beeinflussen die tatsächliche Leistung.
Hardware-Anforderungen: Was Ihr Mini PC braucht
Der Arbeitsspeicher ist der eigentliche Engpass
Allein die Gewichte einer Q4-Datei belegen rund 40 bis 43 GB. KI-Mini-PCs mit AMD-Prozessor nutzen den Systemspeicher gemeinsam für CPU und integrierte Grafik. Das ist nicht dasselbe wie eigener Grafikspeicher mit hoher Bandbreite. Ein Prozessor mit viel gemeinsamem Speicher kann aber deutlich mehr vom Modell aufnehmen als eine kleine separate Grafikkarte. Den Unterschied erklären wir ausführlich in Unified Memory vs. VRAM: Was zählt für lokale LLMs?
Ein Prozessor mit bestätigter ROCm-Unterstützung
ROCm ist die offene Software-Plattform von AMD, mit der KI-Programme die Grafikeinheit für Berechnungen nutzen können, vergleichbar mit CUDA bei Nvidia. Eine Radeon-Grafik bedeutet aber nicht automatisch ROCm-Unterstützung. Grafikeinheit, ROCm-Version, Betriebssystem, Kernel und Treiber müssen zusammenpassen. Prüfen Sie deshalb zuerst die Kompatibilitätsliste von AMD.
Ein Beispiel ist der GEEKOM A9 Mega mit AMD Ryzen AI Max+ 395, 128 GB Arbeitsspeicher und Radeon 8060S. Wie große Modelle darauf laufen, zeigt unser Test mit Qwen3.8 Flash Next: Dort führte ein einzelnes Gerät mit ROCm ein Modell mit 111 GB aus. Eigene Messwerte für Llama 3.1 70B haben wir noch nicht veröffentlicht.
SSD und Kühlung für Dauerlast
Nutzen Sie eine schnelle NVMe-SSD. 2 TB sind sinnvoll, wenn Sie mehrere Modelldateien mit über 40 GB speichern. Die SSD beeinflusst vor allem die Ladezeit, kaum die Antwortgeschwindigkeit. Achten Sie auf freie Luftzufuhr und den richtigen Energiemodus, und testen Sie über mehrere Minuten statt mit einer einzigen kurzen Anfrage.
| Komponente | Empfohlener Startpunkt | Warum |
|---|---|---|
| Arbeitsspeicher | 128 GB | Platz für System, Modellgewichte, Kontext-Cache und Puffer |
| AMD-Prozessor / Grafik | Ryzen AI oder Ryzen AI Max, für die gewählte ROCm-Version gelistet | ROCm-Unterstützung hängt von Gerät und Version ab |
| SSD | 2 TB NVMe | Große GGUF-Dateien, schnelleres Laden |
| Kühlung / Energie | Freie Luftzufuhr, Leistungsmodus für Dauerlast | Hitze kann lange Berechnungen drosseln |
AMD ROCm auf dem Mini PC einrichten
Für offiziell gelistete Ryzen-AI- und Ryzen-AI-Max-Prozessoren ist ein nativ installiertes Ubuntu mit dem von AMD angegebenen Kernel und Treiber der empfohlene Weg. Einige ROCm-Funktionen für Ryzen laufen auch unter Windows, aber nicht alle.
Schritt 1: ROCm-Kompatibilität prüfen
Finden Sie heraus, welcher Prozessor und welche integrierte Grafik genau verbaut sind. Prüfen Sie dann in der Ryzen-ROCm-Supportliste für Linux, welche Kombination aus Ubuntu-Version und Kernel unterstützt wird.
Schritt 2: ROCm unter Ubuntu installieren
Folgen Sie der Installationsanleitung von AMD für Ryzen, passend zu Ihrer ROCm-Version, und nicht alten Paketadressen aus Foren. Für Ryzen-APUs nennt AMD folgenden Befehl:
sudo amdgpu-install -y --usecase=rocm --no-dkms
Prüfen Sie vorher die Voraussetzungen. Notieren Sie Ubuntu-Version, Kernel, ROCm-Version und BIOS-Version. Das erleichtert später die Fehlersuche.
Schritt 3: Prüfen, ob ROCm die Hardware erkennt
Starten Sie neu und führen Sie die Schritte für die Benutzergruppen aus der AMD-Anleitung aus. Danach:
rocminfo | grep -i 'Marketing Name:'
amd-smi version
Der erste Befehl zeigt, ob ROCm die Grafikeinheit erkennt. AMD empfiehlt inzwischen amd-smi statt des älteren ROCm-SMI. Beide Befehle bestätigen aber noch nicht, dass das Modell später wirklich auf der GPU läuft.
Das Modell wählen: GGUF und Quantisierung
Bei der Quantisierung werden die Gewichte mit weniger Bits gespeichert. Das spart Speicher, kann aber etwas Qualität kosten. Die meisten Modelle für llama.cpp liegen im GGUF-Format vor. Laden Sie Modelle nur von einer vertrauenswürdigen Hugging-Face-Seite, prüfen Sie die Lizenz und notieren Sie die genaue Version. Eine GGUF-Datei ist eine Umwandlung aus der Community, nicht die Originalveröffentlichung von Meta.
| Format | Ungefähre Größe | Einschätzung |
|---|---|---|
| FP16 / BF16 | Ca. 140 GB ohne Laufzeitbedarf | Für einen Mini PC nicht praktikabel, nützlich als Referenz |
| Q5 GGUF | Oft über 50 GB, je nach Umwandlung | Mit 128 GB möglich, braucht aber mehr Reserve |
| Q4_K_M GGUF | Ca. 42–43 GB | Ideal für ein lokales Setup mit viel Speicher |
| Q4_K_S GGUF | Je nach Umwandlung ca. 40 GB | Spart etwas mehr Speicher, eventuell mit Abstrichen bei Qualität und Leistung |
Halten Sie den Kontext am Anfang klein: Ein großes Kontextfenster kann mehr Speicher belegen als die Modelldatei selbst.
Llama 3.1 70B lokal starten: Schritt für Schritt
Beginnen Sie mit 4.000 Token Kontext und einer kurzen Eingabe. Erweitern Sie erst, wenn alles funktioniert.
Variante A: Ollama mit AMD-GPU, der einfachere Weg
- Installieren Sie Ollama nach der Linux-Anleitung in der Ollama-Dokumentation.
- Laden Sie ein aktuelles 70B-Modell:
ollama pull <aktueller-70b-modell-tag>- Starten Sie es:
ollama run <aktueller-70b-modell-tag>- Prüfen Sie, wo das Modell läuft:
ollama psDie Spalte PROCESSOR zeigt 100 % GPU, 100 % CPU oder eine Aufteilung. Wichtig beim Modell-Tag: Prüfen Sie in der Ollama-Bibliothek, welche Tags aktuell verfügbar sind. Der Tag llama3.3:70b (rund 43 GB, Q4_K_M) ist zum Beispiel Llama 3.3, nicht Llama 3.1.
Variante B: llama.cpp mit ROCm
Kompilieren Sie llama.cpp mit HIP-Unterstützung nach der aktuellen Build-Anleitung des Projekts:
1. Descargar llama.cpp
git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp
2. Configurar la compilación con HIP
cmake -B build -DGGML_HIP=ON
3. Compilar llama.cpp
cmake --build ./build --config Release --parallel
4. Ejecutar el modelo
./build/bin/llama-cli -m /models/your-llama-3.1-70b-q4.gguf -ngl 999 -c 4096 -p "Schreibe eine kurze Notiz darüber, wie man mit Computern in der Nähe arbeitet."
-ngl 999versucht, so viele Schichten wie möglich auf die GPU zu verlagern. Ob alle passen, ist damit nicht garantiert.- Lädt das Modell nicht, verringern Sie zuerst den Kontext. Prüfen Sie danach Datei und freien Speicher.
- Langsame Antworten liegen oft an der Speicherbandbreite oder an einer Aufteilung zwischen CPU und GPU.
So holen Sie mehr aus Ihrem Mini PC heraus
- Testen Sie mit mehreren realistischen Eingaben statt mit einer schnellen Frage.
- Messen Sie Antwortgeschwindigkeit und Verarbeitung der Eingabe getrennt.
- Ändern Sie ab 4.000 Token Kontext immer nur eine Einstellung. Ein kleinerer Kontext gibt Speicher für den Cache frei.
- Probieren Sie weniger CPU-Threads aus. Das ist manchmal schneller als alle Threads.
- Prüfen Sie, wie viele Schichten auf der GPU landen, und lesen Sie die Leistungstipps von llama.cpp.
- Nutzen Sie den vollen Leistungsmodus und halten Sie die Lüftungsöffnungen frei.
Token pro Sekunde allein beschreiben ein Gerät nicht vollständig. Arbeitsspeicher, Modelldatei, Kontextlänge, Laufzeitumgebung und Temperatur wirken immer zusammen.
Fehlersuche: häufige Probleme und Lösungen
- ROCm erkennt die GPU nicht: Prüfen Sie erneut die Kompatibilitätsliste von AMD, dann Grafikeinheit, Ubuntu-Version, Kernel und Treiber. Installieren Sie keine beliebigen Pakete.
- Ollama nutzt nur die CPU: Führen Sie nach dem Laden
ollama psaus. Vergleichen Sie Ihren AMD-Treiber mit den GPU-Hinweisen von Ollama. Dass ROCm die GPU sieht, heißt noch nicht, dass Ollama sie nutzt. - Speicher reicht nicht: Verringern Sie zuerst den Kontext und die Zahl paralleler Anfragen. Hilft das nicht, brauchen Sie mehr Arbeitsspeicher oder eine kleinere Quantisierung. Der gemeinsame Speicher für die Grafik lässt sich nicht beliebig erhöhen.
- Antworten sind langsam: Prüfen Sie, ob das Modell nur auf der GPU, nur auf der CPU oder aufgeteilt läuft. Schließen Sie Hintergrundprogramme, verringern Sie die GPU-Schichten nur bei Speichermangel und nutzen Sie einen Leistungsmodus für Dauerlast. Für den Alltag kann ein kleineres Modell die bessere Wahl sein.
Fazit: Welcher Mini PC eignet sich für Llama 3.1 70B?
Ein KI-Mini-PC kann Llama 3.1 70B lokal ausführen, wenn der Speicher ausreicht, die AMD-Plattform zur ROCm-Version passt, die Q4- oder Q5-Datei hineinpasst und Sie geprüft haben, dass das Modell auf der GPU läuft. Eine NPU-Angabe und ein 43-GB-Download beantworten diese Fragen nicht.
Für 70B-Modelle empfehlen wir den GEEKOM A9 Mega mit 128 GB. Als Alternative kann der GEEKOM A9 Max mit erweiterbarem Arbeitsspeicher lokale Modelle ausführen, ist aber nicht dieselbe Konfiguration für 70B mit ROCm. Einen Überblick über weitere Geräte finden Sie in Die besten Mini PCs, um LLMs lokal zu betreiben.
FAQ
Kann ein Mini PC Llama 3.1 70B ausführen?
Ja, mit genug Speicher für Modellgewichte, Kontext-Cache, Laufzeitumgebung und Betriebssystem sowie einer passend quantisierten Datei. Das Modell zu laden ist aber etwas anderes, als schnelle Antworten zu bekommen. Geräte mit 32 oder 64 GB sind dafür in der Regel zu knapp.
Wie viel RAM braucht Llama 3.1 70B?
Die Q4-Gewichte belegen rund 40 bis 43 GB, dazu kommen Kontext-Cache und System. Mit 128 GB haben Sie deutlich mehr Spielraum. Der genaue Bedarf hängt von Kontextlänge und Einstellungen ab.
Funktioniert Ollama mit AMD-Grafik?
Ja, wenn Ihre AMD-Grafik und der Treiber von Ollama unterstützt werden. Prüfen Sie nach dem Start mit ollama ps, ob das Modell wirklich auf der GPU läuft.
Brauche ich ROCm für lokale KI auf AMD?
Nicht zwingend. llama.cpp kann zum Beispiel auch über Vulkan laufen, wie in unserer Anleitung für Qwen3.8 Flash Next unter Ubuntu. ROCm ist aber die offizielle Plattform von AMD für KI-Berechnungen auf der GPU.
