Darum gehts
- Gratis-App LMStudio bringt ChatGPT-ähnliche KI auf den Mac
- Alle Daten bleiben dabei auf dem Gerät, kein Abo ist nötig
- Und: Mit LMLink antwortet der Heim-Mac auch von unterwegs
Mietvertrag, Arbeitszeugnis, Lohnabrechnung: Manche Dokumente lädt niemand freiwillig ins Internet. Wer sie trotzdem von einer KI zusammenfassen oder auswerten lassen will, hat eine Alternative – ein Modell, das komplett auf dem eigenen Mac läuft. Ohne Cloud, ohne Abo und ohne Datenspur.
Das klingt vielleicht nach Bastelei für Informatiker, ist aber einfacher als gedacht. Ein Download, ein paar Klicks, und fertig ist das Setup. Kurz: Wer ChatGPT bedienen kann, schafft auch das.
Startklar in fünf Minuten
Mehrere Programme bringen KI-Modelle lokal auf den Mac. Wir zeigen den Weg mit der Software namens LM Studio. Dahinter steckt die Firma Element Labs, gegründet 2023 in Brooklyn in den USA. So geht es:
Schritt 1: App installieren
Auf lmstudio.ai die App LM Studio herunterladen. Das ist kostenlos, und für die Grundfunktionen und den Privatgebrauch benötigt man keinerlei Konto.
Schritt 2: Modell auswählen
Beim Start schlägt LM Studio ein KI-Modell vor, das zur Ausstattung des Macs passt. Am besten diesen Vorschlag übernehmen. Falls das nicht der Fall ist, kann man links über die Lupe auch nach weiteren KI-Modellen stöbern und auf den Mac laden.
8B, 12B, 30B – das B hinter dem Modellnamen bedeutet Milliarden (auf Englisch: billions) Parameter. Grob gesagt: wie viel Wissen im Modell steckt. Mehr heisst klüger, aber auch langsamer und speicherhungriger.
Q gibt die Quantisierung an. Man kann sich das vorstellen wie die Komprimierung bei MP3-Dateien. Bei höherer Komprimierung nimmt die Qualität ab. Je kleiner die Nummer, desto stärker ist das Modell komprimiert. Es braucht dadurch weniger Platz. Q4 ist in den meisten Fällen ein guter Kompromiss zwischen Qualität und Grösse.
MoE = Mixture of Experts. Hier rechnet bei Antworten jeweils nur ein Teil des Modells mit. Kurz: Diese Modelle haben das Wissen eines grossen und das Tempo eines kleineren Modells. Wenn hinter MoE z.B. A3B steht, heisst das: Es sind jeweils drei Milliarden Parameter aktiv.
Token sind Wortstücke, in denen die KI rechnet. Bei 20 Token pro Sekunde bedeutet es: schneller, als du liest.
Kontextfenster: wie viel Text das Modell aufs Mal im Blick behält.
8B, 12B, 30B – das B hinter dem Modellnamen bedeutet Milliarden (auf Englisch: billions) Parameter. Grob gesagt: wie viel Wissen im Modell steckt. Mehr heisst klüger, aber auch langsamer und speicherhungriger.
Q gibt die Quantisierung an. Man kann sich das vorstellen wie die Komprimierung bei MP3-Dateien. Bei höherer Komprimierung nimmt die Qualität ab. Je kleiner die Nummer, desto stärker ist das Modell komprimiert. Es braucht dadurch weniger Platz. Q4 ist in den meisten Fällen ein guter Kompromiss zwischen Qualität und Grösse.
MoE = Mixture of Experts. Hier rechnet bei Antworten jeweils nur ein Teil des Modells mit. Kurz: Diese Modelle haben das Wissen eines grossen und das Tempo eines kleineren Modells. Wenn hinter MoE z.B. A3B steht, heisst das: Es sind jeweils drei Milliarden Parameter aktiv.
Token sind Wortstücke, in denen die KI rechnet. Bei 20 Token pro Sekunde bedeutet es: schneller, als du liest.
Kontextfenster: wie viel Text das Modell aufs Mal im Blick behält.
Schritt 3: Modell laden
Nachdem das KI-Modell heruntergeladen wurde, muss es in den Arbeitsspeicher geladen werden. Dazu im Chatbereich (violettes Pixelmännchen) oben mittig auf die Modellauswahl klicken und da das gewünschte Modell anwählen. Der Mac hebt es nun von der Festplatte in den Arbeitsspeicher – das dauert je nachdem ein wenig. Wieso? Die Festplatte ist für KI-Antworten zu langsam. Noch ein Tipp: Wer den Mac fürs Streaming oder Videoschnitt braucht, wirft das Modell mit einem Klick auf «Eject» wieder aus dem Speicher. Die Datei bleibt auf der Festplatte und ist beim nächsten Mal im Handumdrehen wieder da.
Schritt 4: Ready, go!
Im Chatbereich Frage ins Textfeld tippen, «Enter». Die Antwort baut sich Wort für Wort auf, wie bei ChatGPT. Unten blendet LM Studio jeweils das Tempo ein, gemessen in Tokens pro Sekunde. Alles ab etwa 15 fühlt sich flüssig an.
Schritt 5: PDF füttern
Im KI-Chatfenster lassen sich dann PDFs anhängen: Mietvertrag, Sitzungsprotokoll, AGB. «Fasse das zusammen» als Prompt genügt. Das Dokument bleibt auf dem Mac und wandert nicht auf fremde Server.
Schritt 6: mobiler Zugriff
Die Funktion LM Link macht aus dem Mac deinen privaten KI-Server. Was das bringt? Auf dem iPhone laufen direkt nur kleinere KI-Modelle, für die grösseren fehlt der Speicher. Mit LM Link chattet das iPhone unterwegs mit dem starken Modell, das zu Hause auf dem Mac läuft. Dazu die Gratis-App Locally von LM Studio aufs iPhone laden und sich auf beiden Geräten anmelden, etwa mit dem Google-Konto. So finden sich Mac und iPhone in einem virtuellen Netz (siehe Box unten). Danach auf dem iPhone den Mac direkt auswählen und lostippen. Die Verbindung ist verschlüsselt, die Frage reist vom Handy zum eigenen Mac und zurück. Während der aktuellen Testphase ist LM Link kostenlos, später plant der Hersteller Bezahlvarianten.
Die Technik hinter LM Link ist von Tailscale. Die kanadische Firma spannt ein privates, verschlüsseltes Mininetzwerk zwischen den eigenen Geräten, quer übers Internet – ein virtuelles Heimnetzwerk. Nur angemeldete Geräte kommen hinein, von aussen bleibt es unsichtbar. Deshalb braucht es die Anmeldung: Sie legt fest, welche Geräte zusammengehören.
Die Technik hinter LM Link ist von Tailscale. Die kanadische Firma spannt ein privates, verschlüsseltes Mininetzwerk zwischen den eigenen Geräten, quer übers Internet – ein virtuelles Heimnetzwerk. Nur angemeldete Geräte kommen hinein, von aussen bleibt es unsichtbar. Deshalb braucht es die Anmeldung: Sie legt fest, welche Geräte zusammengehören.
Das Duell: Wer ist schneller?
So weit die Einrichtung. Bleibt die Frage, was die Hardware ausmacht. Apple verspricht mit dem Mac mini M5 Pro mehr KI-Leistung. Wir haben den Vorgänger und das aktuelle Modell nebeneinandergestellt: M4 Pro mit 14 Kernen und M5 Pro mit 18, je 48 GB Unified Memory und bei den gleichen Aufgaben. 48 GB ist der Sweetspot von Kosten und Nutzen. Den neuen M5 Pro gibt es in dieser Ausführung ab 2499 Franken.
Erste Aufgabe, der Alltagstest: «Erkläre Phishing in drei Sätzen.» Beide antworten praktisch sofort. Der M5 Pro schreibt mit 9,9 Tokens pro Sekunde, der M4 Pro mit 8,6. Zweite Aufgabe, der Büro-Test: den 20-seitigen PDF-Halbjahresbericht des Bundesamts für Cybersicherheit zusammenfassen (Modell: Qwen3.8-27B). Hier zeigt sich schnell ein Unterschied beim Einlesen: Der M5 Pro ist nach zwei Minuten 38 Sekunden durch, der M4 Pro hängt da noch bei 85 Prozent. Danach schreibt der M5 mit 9,5 Tokens pro Sekunde, der M4 mit 8. Die dritte Aufgabe ist ein rechter Brocken: Kafkas «Verwandlung», rund 60 Seiten zusammenfassen (Modell: Gemma 4 12B). Der M5 Pro erledigt alles in 3 Minuten 49, der M4 Pro braucht 4 Minuten 6. Kurz: Bei KI-Antworten ist der M5 wenig schneller als sein Vorgänger. Der Grund: Beim Schreiben der Antwort bremst nicht die Rechenleistung, sondern der Datenfluss aus dem Speicher. Und hier sind die Kennzahlen fast identisch. Wer aber häufig grössere Files einliest, merkt einen Zuwachs beim Tempo. Denn hier ist der M5 im Vergleich zum Vorgänger schneller geworden.
Anders sieht es aus, wenn man häufig mit 3D-Software arbeitet. Mit der Software Cinebench lassen wir beide Rechner je zehn Minuten lang dasselbe 3D-Bild zeichnen, immer und immer wieder – je öfter fertig, desto mehr Punkte. Resultat: Die Grafikeinheit des M5 Pro holt 51'119 Punkte, die des M4 Pro 37'345. Ein Sprung von 37 Prozent!
Auf dem Mac steckt KI auch in Siri, dank Apple Intelligence. Ein Chatbot ist Siri aber nicht: Für lange Dialoge oder Dokumente taugt die Assistentin nicht. Ihre Stärke ist der persönliche Kontext. Siri kennt Mails, Termine und Nachrichten und führt Befehle aus («Wann landet der Flug meiner Mutter?»). Komplexe Fragen reicht Siri an ChatGPT weiter, fragt aber vorher um Erlaubnis. Dann allerdings verlassen die Daten das Gerät. Wer eine echte Chat-KI ohne Cloud will, braucht eine App wie LM Studio.
Auf dem Mac steckt KI auch in Siri, dank Apple Intelligence. Ein Chatbot ist Siri aber nicht: Für lange Dialoge oder Dokumente taugt die Assistentin nicht. Ihre Stärke ist der persönliche Kontext. Siri kennt Mails, Termine und Nachrichten und führt Befehle aus («Wann landet der Flug meiner Mutter?»). Komplexe Fragen reicht Siri an ChatGPT weiter, fragt aber vorher um Erlaubnis. Dann allerdings verlassen die Daten das Gerät. Wer eine echte Chat-KI ohne Cloud will, braucht eine App wie LM Studio.
Was heisst das nun?
Die Erkenntnis: Der Arbeitsspeicher (Unified Memory) entscheidet bei lokaler KI, welche Modelle laufen. Der Prozessor, wie schnell sie antwortet. Wer lokale KI will, investiert darum in Arbeitsspeicher. Der Mac M5 Pro glänzt bei lokaler KI bei alltäglichen Aufgaben: zusammenfassen, formulieren, übersetzen und auch Code schreiben. Bei kniffliger Logik, Dokumenten mit Hunderten Seiten, vielen Dateien aufs Mal oder der Auswertung von Videos spielen die Cloud-Modelle in einer anderen Liga. Die Faustregel fürs lokale Arbeiten: Je klarer die Aufgabe definiert ist, desto besser schlägt sich der Mac. Den Sprung bei lokaler KI merken Leute, die von einem älteren M-Prozessor kommen. Der Sprung vom M4 Pro zum neuen M5 Pro ist im Alltag Komfort. Bei Kafka macht er 17 Sekunden aus.