Vllm on René Zander | KI-Automatisierungsberaterhttps://renezander.com/de/tags/vllm/Recent content in Vllm on René Zander | KI-AutomatisierungsberaterHugodeWed, 29 Apr 2026 07:30:00 +0200Claude Code mit lokalen LLMs und ANTHROPIC_BASE_URL: Ollama, LM Studio, llama.cpp, vLLMhttps://renezander.com/de/guides/claude-code-lokales-llm-anthropic-base-url/Wed, 29 Apr 2026 07:30:00 +0200https://renezander.com/de/guides/claude-code-lokales-llm-anthropic-base-url/<p><em>Native Anthropic-Endpoints, Tool-Call-Kompatibilität und Context-Window-Sizing für lokales Claude Code.</em></p> <p><em>Zuletzt getestet: April 2026. Siehe Changelog am Ende.</em></p> <h2 id="tldr-cheat-sheet">TL;DR Cheat Sheet</h2> <table> <thead> <tr> <th>Ziel</th> <th>Setup</th> </tr> </thead> <tbody> <tr> <td>MacBook Air</td> <td>Gemma 4 26B-A4B Q4, <strong>32K Context</strong>, LM Studio oder Ollama</td> </tr> <tr> <td>MacBook Pro</td> <td>Gemma 4 26B-A4B Q4 / UD-Q4, <strong>64K Context</strong>, llama.cpp oder LM Studio</td> </tr> <tr> <td>Claude Code Minimum</td> <td><strong>32K Context</strong> (alles darunter ist eine Chat-Demo)</td> </tr> <tr> <td>Bestes lokales Backend</td> <td>LM Studio oder Ollama zuerst; llama.cpp für Fortgeschrittene; vLLM für Server</td> </tr> <tr> <td>Vermeiden</td> <td>8K / 16K Context, dichtes 31B Gemma 4 auf 32-GB-Maschinen, alte llama.cpp-Builds</td> </tr> </tbody> </table> <h2 id="die-faustregel-für-lokales-claude-code">Die Faustregel für lokales Claude Code</h2> <p>Drei Faktoren entscheiden, ob eine lokale Claude-Code-Session funktioniert:</p>Self-Hosted LLM auf Kubernetes: Produktives vLLM-Deploymenthttps://renezander.com/de/blog/self-hosted-llm-kubernetes/Sun, 05 Apr 2026 07:00:00 +0200https://renezander.com/de/blog/self-hosted-llm-kubernetes/<p>Die meisten Teams, die nach Self-Hosted-LLM-Kubernetes-Deployments fragen, sollten dafür gar kein Kubernetes fahren. Die ehrliche Antwort: vLLM auf einer einzelnen GPU-Box, eingepackt in systemd oder Docker Compose, deckt mehr Use Cases ab, als man gerne zugibt. Kubernetes verdient sich seinen Platz erst, wenn Sie es ohnehin betreiben — oder wenn Sie horizontale Skalierung, Multi-Tenancy-Isolation oder saubere Rolling Deploys über einen GPU-Node-Pool brauchen.</p> <p>Dieser Leitfaden setzt voraus, dass Sie sich für Kubernetes entschieden haben. Ich gehe die Referenzarchitektur durch, die ich beim LLM-Deployment nach k8s nutze, liefere vollständige Manifests für vLLM mit Llama 3.3 70B quantisiert und die operativen Stolpersteine, die jedes Team beim ersten Mal erwischen. Keine plattformspezifische Magie, keine Abstraktion hinter einem Managed Vendor. Nur die YAML, die Sie brauchen, und die Begründung hinter jedem Feld.</p>