Lokale KI mit Lm Studio auf dem MacBook

Heute war ein bisschen Zeit, um mal mit einer lokalen ki zu spielen.

Da die Woche ja das neue Gemma vier Modell von Google rausgekommen ist, habe ich mein LM Studio wieder angeschmissen und mir die Gemma vier 12B Variante runtergeladen.

Tja, was soll ich sagen mein Mac zu wenig Speicher also hab ich dann das 4B Modell genommen,das funktioniert. 

Und dann blitzte neu auf, LM link, das ist ein Tool Womit man zum Beispiel dein iPhone verbinden kannst und dann von dem iPhone das lokale Modell benutzen kannst. Also quasi eine Mini private Cloud.

Das war auch easy einzurichten und funktioniert.

Also technisch alles zum Laufen bekommen aber dann kam die Frage. Wozu? Natürlich zum einen, um das alles mal auszuprobieren zu verstehen und technisch sich anzuschauen. Aber für meine Use Cases macht es keinen Sinn lokale ki zu betreiben.

Ich hab keine hochsensiblen Daten und die Daten für meine Kunden die DSGVO konform genutzt werden müssen, kann ich mit Microsoft Copilot bearbeiten. 

Dann habe ich mal Claude befragt, was ja meine ganzen Projekte kennt, ob es dann Sinn macht für das was ich will eine lokale ki zu betreiben. Und da war klar die Aussage dass der Dinge die ich mache wie auch zum Beispiel Grafiken und Bilder erstellen, kein lokales Modell so gut kann wie die Cloud Modelle, abgesehen davon, dass mein Speicher eh dafür nicht ausreichen würde.

Also nicht mal ein 2 Stunden rumgespielt aber für das, was ich mache, hat das keinen wirklichen Nutzen.

Aber gut ist ja auch ne Erkenntnis, mit der man leben kann.