Hallo zusammen,
ich plane den Kauf einer lokalen KI-Workstation für Software-Architektur und KI-Entwicklung.
Mein Ziel:
Jetzt mit 14B-Modellen (Llama 3 / Qwen) flüssig starten. Die Infrastruktur MUSS aber jetzt schon so ausgelegt sein, dass ich später durch das Stecken einer zweiten identischen Grafikkarte auf 48 GB VRAM aufrüsten kann, um 70B/80B-Modelle lokal zu betreiben. Ein RAM- und SSD-Upgrade auf 128GB erfolgt aus Budgetgründen erst wenige Wochen später in einem separaten…
ich plane den Kauf einer lokalen KI-Workstation für Software-Architektur und KI-Entwicklung.
Mein Ziel:
Jetzt mit 14B-Modellen (Llama 3 / Qwen) flüssig starten. Die Infrastruktur MUSS aber jetzt schon so ausgelegt sein, dass ich später durch das Stecken einer zweiten identischen Grafikkarte auf 48 GB VRAM aufrüsten kann, um 70B/80B-Modelle lokal zu betreiben. Ein RAM- und SSD-Upgrade auf 128GB erfolgt aus Budgetgründen erst wenige Wochen später in einem separaten…
Weiterlesen