Acht Gründe, warum du KI auf deinem eigenen Rechner laufen lassen solltest
ChatGPT, Claude und Gemini sind bequem, aber deine Eingaben landen auf fremden Servern. Lokal behältst du die Kontrolle über Daten, Kosten und Modelle. Acht Gründe dafür zum Auftakt unserer Serie, in der ich mit Asus eine lokale KI baue.
Ich wollte kürzlich ein vertrauliches Dokument von einer Künstlichen Intelligenz (KI) zusammenfassen lassen. Kurz vor dem Hochladen habe ich gezögert. Wo landet dieses Dokument eigentlich? Wer kann es sehen? Und wie lange wird es gespeichert? Ich habe es dann bleiben lassen. Dabei gibt es einen Weg, bei dem sich diese Fragen gar nicht erst stellen: KI auf dem eigenen Rechner.
Die Antworten fallen je nach Anbieter und Tarif anders aus. Gratiskonten nutzen Eingaben häufig fürs Training, Bezahl- und Geschäftskonten meist nicht. Chats bleiben gespeichert, bis du sie löschst, und oft noch eine Weile danach. In Einzelfällen zwingen Gerichte Anbieter dazu, Protokolle länger aufzubewahren, wie etwa im Fall «The New York Times Company» gegen Microsoft. Willst du es genau wissen, lies die Details in den Datenschutzerklärung des Anbieters nach.
Bei Cloud-Diensten wie ChatGPT, Claude oder Gemini wandert jede Eingabe auf die Server des Anbieters. Bei lokaler KI läuft das Sprachmodell auf deiner eigenen Hardware. Das hat Vorteile, aber auch einen Preis. Hier sind acht Gründe, die für den lokalen Weg sprechen.
Dieser Artikel ist der Auftakt einer kurzen Serie. In Zusammenarbeit mit Asus zeige ich dir in den kommenden Beiträgen, wie du eine lokale KI aufbaust. Zuerst erkläre ich, wann und warum sich das lohnt.
1. Deine Daten bleiben bei dir
Dein Rechner verarbeitet den Text und erzeugt die Antwort. Kein Anbieter speichert oder wertet sie aus, und niemand trainiert damit ein Modell. Auch Behörden können ihn bei keinem Anbieter anfordern.
Der Weg in die Cloud ist verschlüsselt, unterwegs fängt also kaum jemand etwas ab. Das Risiko beginnt erst danach, bei Speicherung, Auswertung und Zugriff. Genau dieses Risiko fällt lokal weg.
Quelle: Gorodenkoff
Ein Restrisiko bleibt. Apps senden Telemetriedaten, Plugins rufen externe Dienste auf, und dein Computer braucht Schutz. Dazu kommt ein Fehler, den viele machen: Wer die Schnittstelle seiner lokalen KI ins Internet stellt, statt sie auf dem eigenen Gerät zu halten, öffnet sie für alle. Sicherheitsforschende finden regelmässig Tausende offen erreichbarer Instanzen. Immerhin hast du diese Punkte selbst in der Hand.
Besonders interessant ist das, wenn du mit sensiblen Informationen arbeitest. Etwa Entwicklerinnen mit firmeninternem Code, Ärzte mit Patientendaten oder Anwälte mit vertraulicher Korrespondenz.
2. Nach dem Kauf zahlst du nur noch Strom
Rechnet sich das? Kommt darauf an, wie du KI nutzt.
Wer ChatGPT, Claude oder Gemini nutzt, zahlt ein Abo zum Fixpreis. Eine Grafikkarte für mehrere Hundert Franken braucht Jahre, bis sie sich amortisiert hat. Für gelegentliche Nutzung lohnt sich die Anschaffung nicht.
Anders sieht es aus, wenn Programme die KI über eine Schnittstelle (API) ansprechen. Dort zahlst du nach verarbeiteter Textmenge. Ein Code-Assistent, der den ganzen Tag mitliest, ein Stapel Dokumente oder ein automatisierter Ablauf treiben die Rechnung schnell hoch. Wer so arbeitet, holt die Kosten der Hardware oft nach einigen Monaten wieder herein.
Auf dem eigenen Rechner fällt nach dem Kauf hauptsächlich noch der Strom an. Hinzu kommt, dass der Aufbau Zeit kostet und die Wartung auch. Du installierst Treiber und Software, probierst Modelle aus und ziehst Updates nach. Willst du die KI an eigene Dokumente oder Programme anbinden, kommt weiterer Aufwand dazu. Diese Zeit taucht in keiner Rechnung auf, zählt aber mit.
Quelle: odecam
3. Die Antwort beginnt sofort
Eine Anfrage an die Cloud reist erst durchs halbe Netz, wartet unter Umständen auf freie Rechenkapazität und läuft gegen Nutzungsgrenzen, sobald der Anbieter ausgelastet ist. Dieser Vorlauf entfällt, wenn das Modell auf deinem Rechner liegt. Du drückst Enter, das Modell legt los.
Beim Tempo der Ausgabe dreht sich das Bild. Die Anbieter rechnen in Rechenzentren auf Beschleunigern, gegen die eine Grafikkarte im Heimrechner keine Chance hat. Bei gleich grossem Modell schreibt die Cloud die Antwort meist schneller fertig.
Der lokale Vorsprung zeigt sich also dort, wo die erste Reaktion zählt. Etwa bei der Code-Vervollständigung im Editor oder bei einem Assistenten, der mitläuft, während du arbeitest. Wie flott es danach weitergeht, hängt stark von deiner Hardware ab. Auf einer modernen Grafikkarte antwortet ein kleineres Modell zügig, auf einem Rechner ohne Grafikkarte wird es zäh.
4. Funktioniert auch offline
Ist ein Modell einmal heruntergeladen und auf dem Rechner installiert, brauchst du kein Internet mehr. Das hilft unterwegs oder bei einem Netzausfall.
Quelle: REC Stock Footage
5. Du bestimmst, welches Modell läuft
Die Cloud gibt dir, was der Anbieter im Sortiment hat. Auf Hugging Face, der grössten Plattform für frei herunterladbare Modelle, liegen dagegen über drei Millionen Modelle bereit. Darunter Allrounder, Spezialisten für Programmcode, mehrsprachige Modelle und solche für einzelne Fachgebiete.
Frei herunterladbar heisst nicht Open Source. Der treffendere Begriff lautet «open weight». Du bekommst das fertige Modell, nicht zwingend die Trainingsdaten, und die Lizenz kann Auflagen enthalten. Open Source wäre das Rezept samt Zutatenliste, open weight ist der fertige Kuchen: essen und weiterverzieren ja, Rezept nein. Die Modelle Llama und Gemma etwa erlauben weniger als eine MIT- oder Apache-Lizenz – Llama verlangt ab einer gewissen Zahl monatlich aktiver User eine separate Lizenz von Meta, dazu kommen bei beiden Listen verbotener Anwendungen. Privat spielt das selten eine Rolle, kommerziell sehr wohl.
Ein Modell lässt sich mit deinen eigenen Daten nachtrainieren, das sogenannte Fine-Tuning. Etwa für einen bestimmten Stil oder ein Fachgebiet. Eigene Dokumente bindest du einfacher per RAG an – kurz für «Retrieval Augmented Generation», sinngemäss: nachschlagen statt auswendig lernen. Deine Dateien landen in einer durchsuchbaren Ablage, und bei jeder Frage sucht das System die passenden Textstellen heraus und liefert sie dem Modell gleich mit. Der Vorteil: Du änderst am Modell nichts, kannst Dokumente jederzeit austauschen und siehst, woher eine Antwort stammt.
Viele Modelle gibt es zudem in verkleinerten Varianten. Quantisierung nennt sich das: Ein Modell besteht aus Milliarden von Zahlenwerten, und die werden dabei gröber gespeichert – ähnlich wie ein Foto, das du für den Versand komprimierst. Das Modell schrumpft auf einen Bruchteil, läuft schneller und passt überhaupt erst auf deinen Rechner. Dafür wird es bei kniffligen Aufgaben etwas ungenauer.
Auch über Updates entscheidest du selbst. Anbieter machen häufig stille Änderungen: Der Name bleibt gleich, das Verhalten ändert sich, weil ein Update, ein neuer Systemprompt oder ein angepasster Filter greift. Lokal bleibt die Version, die deine Bedürfnisse abdeckt, so lange erhalten, wie du willst.
6. Einfacher für Datenschutz und Compliance
Die DSGVO und das revidierte Schweizer Datenschutzgesetz (revDSG) regeln, wo und wie personenbezogene Daten verarbeitet werden dürfen. Für die Übermittlung in die USA gibt es inzwischen einen geregelten Weg: das Data Privacy Framework. Ist ein US-Unternehmen dort zertifiziert, gilt sein Datenschutz für die EU und die Schweiz als gleichwertig. Dazu kommen Auftragsverarbeitungsverträge, und mehrere Anbieter halten Daten auf Wunsch in Europa.
Verlassen solltest du dich darauf nur bedingt. Diese Beschlüsse sind politische Entscheide, und der Europäische Gerichtshof hat mit Safe Harbor und Privacy Shield bereits zwei Vorgängerregelungen gekippt. Wer Daten gar nicht erst ausser Haus gibt, muss sich um diese Frage nicht kümmern. In regulierten Branchen wie dem Gesundheits- oder Finanzwesen kann die Verarbeitung im eigenen Haus sogar die einzige akzeptable Lösung sein.
Auch nachweisen lässt sich die Verarbeitung leichter, wenn du genau weisst, wo sie stattfindet. Die übrigen Pflichten verschwinden deswegen nicht. Zugriffsverwaltung, Protokollierung und dokumentierte Datenflüsse bleiben.
7. Du bleibst unabhängig vom Anbieter
Baust du eine Anwendung auf die Schnittstelle eines einzigen Anbieters, machst du dich abhängig (Vendor-Lock-in). Der Anbieter kann Preise erhöhen, Modelle abschalten oder ihr Verhalten ändern, und dann darfst du deine Software und Anweisungen anpassen.
Lokale Modelle sind dagegen schlichte Dateien. Du sicherst sie, kopierst sie und nutzt sie auf einem anderen Rechner weiter. Programme wie Ollama, LM Studio oder llama.cpp bieten eine OpenAI-kompatible Schnittstelle. Bestehende Anwendungen lassen sich dadurch oft ohne grossen Aufwand umstellen.
8. Du entscheidest über die Inhaltfilter
Bei medizinische Fragen, Sicherheitsforschung, literarischem Schreiben über schwierige Themen blocken Cloud-Modelle manchmal ab, obwohl die Absicht legitim ist. Die Filter folgen den Regeln des Anbieters und schützen in erster Linie ihn. Etwa, wenn ich das Modell nach der Einnahme eines Medikaments frage und es mich an eine Ärztin verweist – auch wenn die Antwort in einem Kompendium stehen würde.
Auf dem eigenen Rechner wählst du selbst, mit welchen Schranken du arbeitest. Viele Modelle gibt es in beiden Varianten, mit eingebauten Schutzmechanismen und ohne. Das bringt Freiheit und Verantwortung.
Wann die Cloud die bessere Wahl ist
Ein Nachteil wiegt schwer: Ein Modell, das auf einer Grafikkarte für den Heimgebrauch läuft, kommt an die grossen Cloud-Modelle nicht heran. Bei Zusammenfassungen, Übersetzungen oder einfachem Code merkst du den Unterschied kaum. Verlangt eine Aufgabe mehrere Denkschritte, merkst du ihn deutlich.
Die Cloud ist die bessere Wahl, wenn:
- du KI nur ab und zu nutzt, dann rechnet sich keine Hardware
- du die bestmögliche Antwort brauchst, egal woher sie kommt
- dein Computer keine leistungsfähige Grafikkarte hat
- du dich nicht um Updates, Modelle und Einstellungen kümmern willst
Entscheidend ist dabei vor allem der Videospeicher der Grafikkarte, kurz VRAM. Als Faustregel braucht ein auf 4 Bit komprimiertes Modell rund ein halbes Gigabyte (GB) pro Milliarde Parameter. Ein Modell mit 8 Milliarden Parametern belegt also etwa 4 GB. Im nächsten Artikel gehe ich näher darauf ein.
Lokale KI schützt deine Daten und macht dich unabhängig von Anbietern. Bei intensiver Nutzung sparst du Geld. Dafür brauchst du passende Hardware, etwas technisches Verständnis, Zeit für die Einrichtung und die Bereitschaft, bei der reinen Modellqualität Abstriche zu machen.
Für Gelegenheitsnutzerinnen bleibt die Cloud die bequemere Wahl. Wer mit sensiblen Daten arbeitet oder KI täglich braucht, sollte sich die lokale Variante ansehen.
So geht es in der Serie weiter
In Zusammenarbeit mit Asus baue ich in den nächsten Beiträgen eine lokale KI auf. Du erfährst, welche Hardware du brauchst, wie du die Software installierst und welches Modell zu deinem Vorhaben passt. Am Schluss zeige ich, wie sich das Ganze im Alltag schlägt.
Technologie und Gesellschaft faszinieren mich. Die beiden zu kombinieren und aus unterschiedlichen Blickwinkeln zu betrachten, ist meine Leidenschaft.
Interessantes aus der Welt der Produkte, Blicke hinter die Kulissen von Herstellern und Portraits von interessanten Menschen.
Alle anzeigen
