01.04.2024

24 GB VRAM sind nicht genug

RTX 3090

Eine RTX 3090 mit 24 GB VRAM (gebraucht für 650 € ergattert) reicht bereits aus, um auf dem eigenen Rechner, ohne großen Cloud-Anbieter, mit KI Spaß zu haben oder sogar sinnvolle Dinge zu tun. Zusammen mit den restlichen Komponenten (Prozessor, Mainboard, Netzteil, etc.) liege ich bei unter 1300 € und habe mir quasi einen mittelklassigen Gaming-PC zusammengestellt. Aus steuerlichen Gründen spreche ich aber lieber von KI-Hardware. Spiele werde ich darauf zwar nicht installieren, viel mehr als Spielerei wird es aber wohl trotzdem nicht werden. Eine Server-GPU und ein richtiges Rack wären natürlich geiler aber auch "ein bisschen" teurer und umständlicher.

Ich möchte mal schauen, was gerade so geht, mit Open Source KI. ChatGPT kann man zwar in der Basisversion umsonst nutzen, aber die KI selbst, also das "Sprachmodell", ist nicht öffentlich. Integration in bestehende Software ist nur über die kostenpflichtige Schnittstelle möglich. Mittlerweile gibt es auch andere Anbieter, auf ähnlich hohem Niveau, und eine Vielzahl von frei zugänglichen Sprachmodellen, die auf jedem modernen Gaming-PC zumindest laufen und antworten generieren. Wie schnell, ist eine andere Frage. Und die Qualität, also die "Intelligenz", lässt im Open Source Bereich auch noch stark zu wünschen übrig, vor allem auf anderen Sprachen als Englisch.

Aber es läuft (hab es inzwischen wieder ausgemacht). Ich habe meinen ChatGPT Klon, lokal in meiner Küche, auf einem Gaming-PC laufen. Du kannst dich anmelden und es ausprobieren. Aber Achtung! Ich sehe bzw. höre es, wenn hier die Lüfter angehen. Außerdem stürzt mir da irgendwas noch ab, wenn die 24 GB VRAM mal voll laufen. Und das Ding hat einen ganz schönen Stromverbrauch.

Das lohnt sich nicht, wie sich herausstellt. Nach einigem Rumprobieren und sich über quantisierte Models aufregen, die nicht halten, was sie versprechen, werd ich wohl erstmal wieder umsteigen. Klar, mit sehr viel Aufwand ist auch mit den kleinen Open Source Modellen sicher einiges machbar aber man kommt nicht annähernd so weit, wie mit den kommerziellen, also den richtig großen Sprachmodellen. Gerade wenn es um Aufgaben geht, die ein bisschen mehr... naja, wie soll ich sagen, Verstand benötigen. Außerdem werden Microsoft und Google ihre Produkte mit KI vollstopfen und auch die passende Hardware dafür verkaufen, die eure Firmendaten und -prozesse vertraulich bei euch im Büro verarbeitet und nicht auf Servern von Dritten. In anderen Produkten revolutioniert KI bereits die kreative Arbeit und der Bedarf an Programmierern wird sich wohl auch dramatisch zuspitzen, im Sinne von weniger aber wesentlich anspruchsvoller. Siri und Alexa werden bald sicher gigantische Sprünge machen und erste humanoide Roboter sieht man auch bereits vermehrt in freier Wildbahn rumlaufen. Ich bin so fasziniert von all dem aber es geht mir auch ein bisschen zu schnell. Und ich würde doch so gerne mitspielen.

Gleichzeitig bin ich mal wieder an so einem Punkt, an dem ich mich fürchterlich schlau fühle, aber eben ohne zu wissen, was ich damit anfangen soll. Und dann lese ich irgendeine wissenschaftliche Arbeit, in der es ans Eingemachte geht und komme mir wieder total dumm vor. Am besten mache ich erstmal zwei Wochen Urlaub. Ohne Laptop. Handy im Flugmodus. Das ist im Rahmen meiner Therapie eh noch vorgesehen. Und dann brauche ich einen genialen Geistesblitz. Oder vielleicht doch einfach einen Arbeitgeber.