mich beschleicht der Verdacht, im Diskurs um den lokalen Betrieb von LLMs könnte sich bezüglich des Energie- und Ressourcenverbrauch ein großer quantitativer Fehler eingeschlichen haben:
Der einigermaßen schnelle Betrieb einigermaßen gewichteter auch runterquantifizierter Modelle erfordert den Betrieb auf Maschinen mit leistungsstarken GPUs, die ihrerseits oft 200W und mehr verbrauchen. Man ist dann ungefähr auf dem Stand von ChatGPT 3.xx unterwegs.
Die dezentrale Lösung ohne Rechenzentren hört sich für mich gewissermaßen nach: “Leute, wir verbrauchen zu viel Strom - stellt euch mal bitte alle einen Dieselgenerator ins Wohnzimmer” an.
Eine moderne High End GPU (zb Geforce RTX 5080) hat eine maximale Leistungsaufnahme von ca 350 Watt (nur Google als Quelle, also alles jetzt erstmal ceteris paribus).
Mein PC hat meine ich ein Netzteil mit 850 Watt, die er aber natürlich nur im absoluten Maximalbetrieb zieht.
Wenn wir von 850 Watt Leistung und super übertriebenen 8760 Stunden maximale Leistung ausgehen, landen wir bei 7,5 Mio Wattstunden, also 7500 kWh - das entspricht ca dem Stromverbrauch von 2 großen Familien pro Jahr.
Nun ist die Frage ob man davon ausgeht, das so ein lokales LLM künftig wirklich 24/7 laufen wird oder eben nur, wenn ich zB eh am Computer sitze und arbeite - da würde sich ggfls der Verbrauch also gar nicht oder nur leicht erhöhen.
Ich kann nichts dazu sagen, ob der lokale Betrieb dann sofort zu einer maximalen Auslastung führen würde.
Vermutlich kommt es stark auf den konkreten Usecase an: Bei mir läuft eine RTX 4070 Super mit 12GB mit einem Quen 2.5 7B für einfache MiroFish-Simulationen mehrere Stunden unter Volllast. Währenddessen kann man mit dem System nicht anderweitig arbeiten. Bei dem Beispiel von Stefan mit der täglichen Zusammenfassung von E-Mails und Forenbeiträgen sieht’s vermutlich anders aus.
Mir ging es vor allem um die Frage, ob der jeweilige Task nicht in einem Rechenzentrum energieeffizienter durchgeführt werden kann, daher das Beispiel mit den Dieselgeneratoren.
