> Lokale Large Language Models wie LLaMA, Mistral oder Phi mit eGPU betreiben. VRAM-Anforderungen, Software-Setup und Performance-Tipps. Quelle: https://egpu.de/ratgeber/lokale-llms/ Stand: 2026-01-30 # Lokale KI & LLMs mit eGPU Large Language Models lokal betreiben – ohne Cloud, ohne Abo, volle Kontrolle über deine Daten. Mit eGPU holst du dir die Rechenpower an deinen Laptop. ## Warum lokale LLMs? Trend geht Richtung lokale KI. Modelle werden besser, Hardware günstiger. Die wichtigsten Argumente: **Datenschutz ist Hauptgrund.** Sensible Dokumente analysieren oder Code schreiben? Willst du nicht, dass alles durch US-Server läuft. Bei lokalen LLMs bleibt alles auf deinem Rechner. **Keine laufenden Kosten.** ChatGPT Plus kostet 20€/Monat, Claude Pro auch. Läppert sich. Einmal GPU kaufen, fertig. **Offline nutzbar.** Zug, Flugzeug, beim Kunden ohne WLAN – lokales LLM läuft immer. **Anpassbar.** Modelle fine-tunen, eigene Prompts, volle Kontrolle über Parameter. Nachteile: Hardware-Anforderungen sind hoch, Modelle kleiner als GPT-4 oder Claude, Ersteinrichtung braucht Zeit. --- ## VRAM ist King Der wichtigste Faktor für lokale [LLMs](/glossar/#llm) ist **[VRAM](/glossar/#vram)**. Die Modellgröße bestimmt, was auf deine GPU passt. ### VRAM-Anforderungen (quantisiert Q4) | Modellgröße | VRAM benötigt | Empfohlene GPU | |-------------|---------------|----------------| | **7B Parameter** | ~4-6 GB | RTX 4060, RX 7600 | | **13B Parameter** | ~8-10 GB | RTX 4070, RX 7700 XT | | **30-34B Parameter** | ~20 GB | RTX 4090, 2x 4070 | | **70B Parameter** | ~40 GB | Mehrere GPUs / CPU-Offload | **Faustregel:** Nimm die Parameteranzahl in Milliarden, teile durch 2 = benötigter VRAM in GB (bei 4-Bit Quantisierung). --- ## Die besten Modelle für Einsteiger ### 1. Llama 3.2 (3B / 8B) - Von Meta, Open Source - Beste Qualität für die Größe - 8B-Version läuft auf 8 GB VRAM ### 2. Mistral 7B / Mixtral 8x7B - Europäisches Modell (Frankreich) - Sehr effizient - Mixtral braucht ~26 GB VRAM ### 3. Phi-3 (Mini/Medium) - Von Microsoft - Extrem kompakt (3.8B) - Läuft auf fast jeder GPU ### 4. Qwen 2.5 (7B / 14B / 32B) - Von Alibaba - Sehr gut für Code - Verschiedene Größen verfügbar --- ## Software-Setup ### Option 1: Ollama (Empfohlen) Am einfachsten für den Einstieg. **Installation:** ```bash # macOS / Linux curl -fsSL https://ollama.com/install.sh | sh # Windows: Installer von ollama.com ``` **Modell laden und starten:** ```bash ollama run llama3.2 # oder ollama run mistral ollama run phi3 ``` **GPU-Nutzung prüfen:** ```bash ollama ps # Zeigt VRAM-Nutzung an ``` ### Option 2: LM Studio - Grafische Oberfläche - Modell-Browser integriert - Chat-Interface wie ChatGPT - Download: [lmstudio.ai](https://lmstudio.ai) ### Option 3: Text Generation WebUI (oobabooga) - Für Fortgeschrittene - Maximale Kontrolle - Viele Einstellungsmöglichkeiten --- ## eGPU-spezifische Tipps ### CUDA unter Thunderbolt [Thunderbolt](/glossar/#thunderbolt-4)-eGPUs funktionieren problemlos für LLMs. Die Bandbreite ist weniger kritisch als beim Gaming, da: - Modell wird einmal in VRAM geladen - Wenig Datentransfer während Inferenz - Latenz spielt keine Rolle **Performance-Verlust:** ~5-10% vs. Desktop (kaum spürbar bei Text-Generierung) ### OCuLink-Vorteil Mit [OCuLink](/ratgeber/oculink-guide/) erreichst du nahezu Desktop-Performance. Für LLMs aber kein Must-Have. ### Mehrere GPUs Ollama unterstützt Multi-GPU automatisch: ```bash # Prüfen welche GPUs erkannt werden nvidia-smi # oder rocm-smi # AMD ``` --- ## Empfohlene GPU-Konfigurationen 2026 Mit neuer GPU-Generation haben sich Optionen verschoben. RTX 50 bringt mehr VRAM und schnellere Tensor-Cores. ### Budget: RTX 4060 Ti 16GB (~350€) Die RTX 4060 Ti 16GB ist das beste Preis-Leistungs-Verhältnis für lokale LLMs. 16 GB VRAM reichen für 13B-Modelle problemlos, und selbst 34B-Modelle laufen mit CPU-Offloading. Die Karte ist nicht die schnellste, aber für Text-Generierung völlig ausreichend. Wenn du 30+ Tokens pro Sekunde bekommst, merkst du keinen Unterschied. ### Sweet Spot: RTX 5070 16GB (~600€) Die RTX 5070 ist der neue Sweet Spot. 16 GB VRAM, deutlich schnellere Tensor-Cores als die 40-Serie, und moderate Stromaufnahme. Für 7B-13B Modelle bekommst du 50-70 Tokens pro Sekunde. Alternativ: Die RTX 4070 Super bleibt ein gutes Angebot, wenn du sie günstig findest. ### High-End: RTX 5080 16GB (~1.000€) Mit der RTX 5080 bekommst du die beste Single-GPU-Performance für lokale LLMs. 16 GB VRAM sind ausreichend für 30B-Modelle mit Quantisierung, und die Inferenz-Geschwindigkeit ist exzellent. Achtung: Die 5080 braucht mindestens 550W Netzteil, besser 650W. Alle Details zur Netzteil-Wahl im [Netzteil-Guide](/ratgeber/egpu-netzteil/). ### Maximum VRAM: RTX 4090 24GB (~1.600€ gebraucht) Für 70B-Modelle brauchst du mehr VRAM. Die [RTX 4090](/grafikkarten/nvidia-rtx-4090/) mit 24 GB ist hier die beste Option. Gebraucht inzwischen bezahlbar, und mit CPU-Offloading laufen auch die größten Modelle. Die RTX 5090 hat 32 GB VRAM, kostet aber über 2000€ und braucht ein 850W+ Netzteil – für die meisten eGPU-Setups überdimensioniert. ### Alternative: AMD APUs mit Unified Memory (bis 128 GB) Spannende Alternative für LLM-Enthusiasten: Mini-PCs mit AMD Ryzen AI oder Strix Point APUs. Nutzen **Unified Memory**, geteilt zwischen CPU und iGPU – bis zu 128 GB RAM möglich. **Warum interessant:** - **Riesiger "VRAM"** – 70B-Modell braucht ca. 40 GB. Mit 128 GB RAM hast du Luft. - **Kein [PCIe](/glossar/#pcie)-Bottleneck** – GPU sitzt direkt auf dem Chip, kein Thunderbolt nötig. - **Kompakt** – Mini-PC-Formfaktor, kein separates eGPU-Gehäuse. - **Energieeffizient** – 65W [TDP](/glossar/#tdp) statt 300W+ für High-End-GPU. **Nachteile:** - **Langsamer als dedizierte GPU** – Speicherbandbreite geringer als GDDR6X. - **Teuer bei viel RAM** – 128 GB DDR5 kosten 300-400€ extra. - **Weniger Tensor-Cores** – Keine CUDA-Optimierung, langsamere Inferenz. **Wann lohnt sich das?** Regelmäßig 70B+ Modelle und Geschwindigkeit zweitrangig? AMD APU liefert 5-15 Tokens/Sekunde bei großen Modellen – langsamer als RTX 4090, aber Modell läuft komplett im RAM ohne CPU-Offloading. Hersteller: Minisforum, Beelink, GMKtec mit AMD Ryzen 9 7940HS, Ryzen AI 9 HX 370 oder Strix Point. Einige unterstützen bis zu 96/128 GB RAM. --- ## Performance-Benchmarks 2026 Tokens pro Sekunde (t/s) bei verschiedenen Setups – getestet mit Q4_K_M Quantisierung: | Modell | RTX 4060 Ti | RTX 5070 | RTX 5080 | |--------|-------------|----------|----------| | Llama 3.3 8B | ~35 t/s | ~55 t/s | ~75 t/s | | Mistral 7B | ~40 t/s | ~60 t/s | ~80 t/s | | Qwen 2.5 14B | ~20 t/s | ~35 t/s | ~50 t/s | | Llama 3.3 70B (Q4) | CPU-Offload | CPU-Offload | ~12 t/s | Die RTX 50-Serie zeigt einen deutlichen Sprung gegenüber der 40er-Generation – vor allem bei größeren Modellen. **Zum Vergleich:** Menschliche Lesegeschwindigkeit liegt bei 4-5 Wörtern pro Sekunde. Alles über 20 t/s fühlt sich praktisch instant an. Bei Chat-Anwendungen merkst du über 30 t/s keinen Unterschied mehr. --- ## Praktische Anwendungen ### 1. Lokaler Coding-Assistent ```bash ollama run codellama:13b # oder ollama run deepseek-coder:6.7b ``` Integration in VS Code mit "Continue" Extension. ### 2. Dokumente analysieren Mit Retrieval Augmented Generation (RAG): - PrivateGPT - LocalGPT - AnythingLLM ### 3. Kreatives Schreiben ```bash ollama run llama3.2:8b # Gut für Texte, Stories, Zusammenfassungen ``` --- ## Troubleshooting ### "CUDA out of memory" - Kleineres Modell wählen - Quantisierung erhöhen (Q4 statt Q8) - Andere Anwendungen schließen - Context-Länge reduzieren ### Modell läuft auf CPU statt GPU ```bash # NVIDIA-Treiber prüfen nvidia-smi # Ollama neu starten sudo systemctl restart ollama ``` ### Langsame Generierung - GPU-Auslastung prüfen (sollte >90% sein) - Thermal Throttling ausschließen - Quantisiertes Modell verwenden --- ## Fazit Für lokale LLMs hast du mehrere Optionen: **Einsteiger (eGPU)** – RTX 4060 Ti 16GB + Ollama + Llama 3.3 8B. Bestes Preis-Leistungs-Verhältnis. Flüssige Textgenerierung für alle gängigen Fälle. **Fortgeschritten (eGPU)** – RTX 5070 oder RTX 5080 + LM Studio + Qwen 2.5 14B. Mehr Speed, mehr Möglichkeiten, genug VRAM für größere Modelle. **Maximum VRAM (eGPU)** – RTX 4090 24GB oder Dual-GPU. Regelmäßig 70B-Modelle oder fine-tuning? Brauchst du das extra VRAM. **Große Modelle (AMD APU)** – Mini-PC mit AMD Ryzen AI + 96-128 GB RAM. Langsamer als dedizierte GPU, aber 70B+ Modelle laufen komplett im Unified Memory. eGPU-Lösung ist ideal, wenn du Laptop als Hauptrechner nutzt und flexibel bleiben willst. Thunderbolt-Overhead bei LLMs minimal – GPU wartet auf nächsten Token, nicht auf Daten durchs Kabel. Welche GPUs insgesamt am besten abschneiden, zeigen unsere [GPU-Empfehlungen](/ratgeber/gpu-empfehlungen/). AMD APU-Alternative lohnt sich, wenn du primär große Modelle nutzt und Speed zweitrangig ist. Mini-PC mit 128 GB RAM ist kompakter und energieeffizienter als eGPU-Setup mit RTX 4090. Wichtig: Für reines LLM-Inference lohnt sich [OCuLink](/glossar/#oculink) kaum vs. TB4. Flaschenhals liegt bei Modell-Berechnung, nicht bei Verbindung. --- *Zuletzt aktualisiert: Januar 2026*