Eine Anwendung sieht lokal aus, und hinten dran hängt trotzdem ein fremdes Modell.
Lokale KI: Bauen oder betreiben?

Lokale KI: Bauen oder betreiben?

Ein Mittelständler steht vor der Frage, ob KI im eigenen Haus laufen soll oder bei den großen Anbietern bleibt. Dr. Alexander Hildenbrand hat sie für sich beantwortet. Seit rund 4 Monaten läuft ein Sprachmodell lokal auf seinem MacBook Pro mit M4-Chip. Daraus sind etwa 30 kleine Anwendungen entstanden.

Geplant war davon nichts. Er wollte ein Webinar mitschneiden und ärgerte sich über wechselnde Werkzeuge. Also ließ er sich ein eigenes bauen. Daraus wurde ein QR-Scanner, weil das Übertragen eines Codes vom Bildschirm aufs Telefon umständlich ist. Daraus wurde ein Scan-Studio, gebaut in einer Viertelstunde, weil beim Vater ein Drucker nicht mitspielte. Am Anfang stand jedes Mal ein Ärgernis.

Der ungewöhnlichste Teil kommt danach. Er hat sein eigenes Beratungsmodell in einen Wirtschaftsroman umschreiben lassen, mit der Vorgabe, dass kein Wort des Modells selbst darin vorkommt. Dann hat er seine eigene Stimme lokal nachbauen lassen. Die Kapitel werden über Nacht vertont, und er hört sie im Auto in doppelter Geschwindigkeit.

Der ehrlichste Moment der Folge ist mein eigener Fehlversuch. Gleiche Software, schwächere Maschine, Antwort nach Stunden und dann belanglos. Die Hardware-Schwelle ist real. Die Frage nach dem Rechner kommt vor der Frage nach dem Modell.

Konkret: MacBook Air mit M2-Chip, 24 GB Arbeitsspeicher, das Modell über LM Studio installiert. Alexander Hildenbrand erklärt den Unterschied technisch. Auf der Mac-Architektur teilen sich Prozessor und Grafikeinheit den Speicher. Der Sprung von M2 auf M4 ist deshalb kein gradueller.

Die Grenze des lokal Machbaren zieht er präzise. Transkribieren, zusammenfassen, übersetzen, vertonen und Stellen in Videos finden laufen auf dem eigenen Rechner. Programmieren läuft nicht. Der Grund ist das Kontextfenster. Sobald die Historie länger wird, ein Konzept entsteht oder eine Strategie über mehrere Schritte trägt, reicht der lokale Kontext nicht.

Nicht jeder Prozess muss KI enthalten. Aber fast jeder lässt sich mit KI umbauen, und das Ergebnis läuft danach ohne sie. Wer das trennt, muss über Datenschutz nur noch bei einer kurzen Restliste reden.

Ich habe gefragt, was heute durch Cloud-Dienste läuft, ohne dass es jemand entschieden hat. Alexander Hildenbrand widerspricht der Prämisse. Das meiste sei gewollt, man startet den Dienst ja aktiv. Die Gefahr liegt in der Normalisierung. Eine Anwendung sieht lokal aus, und hinten dran hängt trotzdem ein fremdes Modell. Er nennt sein eigenes Beispiel, eine installierte Programmierumgebung.

Der Einwand aus der Cloud-Ecke lautet, lokale KI erledige sich in 2 Jahren ohnehin. Seine Antwort ist Koexistenz. Verwaltungssoftware ohne Geschäftsgeheimnis gehört in die Cloud, weil dort mehr Aufwand in Sicherheit und Verfügbarkeit steckt, als ein Mittelständler je selbst leisten wird. Ein Produktionsprozess, der in diesem Haus einzigartig ist, gehört ins Haus. Man will ihn dauernd selbst optimieren, ohne von jemandem abzuhängen.

Für einen Betrieb mit 50 Mitarbeitern nennt er drei erste Schritte in dieser Reihenfolge. Erstens eine Person finden, die sich intensiv mit dem Thema beschäftigt. Ausdrücklich nicht alle schulen. Nach einer Schulung sind viele beschäftigt und wenige handlungsfähig. Zweitens feststellen, wo das Unternehmen steht. Drittens klären, was es mit KI überhaupt erreichen will.

Es gibt KI-Friedhöfe. Leute bekommen zwei, drei Tage Zeit, machen etwas, danach passiert nichts mehr, und die Lust ist weg. Wer ohne Antwort auf die dritte Frage startet, baut daran mit.

Der kleinste sinnvolle Einstieg ist ein Prozess, der nervt. Alexander Hildenbrand nennt es das Hello-World-Programm. Irgendetwas machen und ein Ergebnis sehen. Etwas Spaßiges darf herauskommen, weil Menschen weitermachen, wenn es Freude macht.

Eine Grenze benennt er selbst, und sie ist wichtig. Für laufende Prozesse taugt eine solche Sammlung nicht. Beim Zuklappen des Rechners ist alles weg.

Nimm dir die 3 Abläufe in deinem Haus, bei denen jede Woche Zeit verschwindet. Schreib daneben, wo die Daten dabei landen. In 20 Minuten gehen wir sie durch und trennen, was auf deinem eigenen Rechner laufen kann und was in der Cloud besser aufgehoben ist. Danach weißt du, welche Maschine du brauchst und welche Restliste beim Datenschutz übrig bleibt.

Erstgespräch buchen