Kennst du den Grünen Bundesrat Vinterti Monic? Nein? Wir auch nicht! Das war einer der Namen, der die Schweizer KI ausspuckte, als wir nach den Bundesräten fragten. Die Details findest du unten.
Okay, vielleicht ist unser Kurztest nicht ganz fair. Denn der Apertus-Start war ein wenig holprig. Noch am Montagabend gab es laut ETH offene Rechtsfragen, die den Launch beinahe verzögert hätten. Klappte dann zum Glück doch.
Die nächste Hürde aber lautet: Wie testet man das Modell?
Wer technisch versiert ist, kann den Code via Huggingface herunterladen und selber installieren. Auf den meisten privaten Computern dürfte aber nur das kleine Modell mit acht Milliarden Parametern laufen – für das grössere mit 70 Milliarden Parametern brauchts potentere Hardware.
Dann wäre da noch Swisscom, die das grosse Apertus auch anbieten wollte. Leider gabs da bis 16 Uhr keine weiterführenden Informationen.
Womit wir bei «publicai.co» wären, einer Stiftung, die das Model für Normalo-User zu Direktgebrauch bereitstellt. Aber auch hier ruckelts. Das potentere Modell bekommt man nur mit Login, was im Blick-Test nicht klappte. Darum gab uns nur das kleine Modell Auskunft (ohne Login). Und hier war das Resultat eher ernüchternd.
Wie heissen die aktuellen Bundesräte?
Apertus antwortet mit dem Hinweis, dass seine Daten zuletzt im März 2024 aktualisiert worden sind. Trotzdem ist das Resultat suboptimal:
- Alain Berset (SP) → Er war zwar Bundesrat, ist aber bereits Ende 2023 zurückgetreten.
- Ignazio Cassis (FDP) → Stimmt!
- Albert Rösti (SVP) → Stimmt!
- Vinterti Monic → Fail! Erstens sind die Grünen nicht im Bundesrat, zweitens kennt nicht mal Google diese Person.
- Dominique de Buman (CVP): → Okay, diesen Herrn gibts. Er war aber nie Bundesrat, sondern bis 2019 Nationalrat.
- Guy Parmelin (SP): → Hier stimmen zwar Name und Amt, Partei wäre aber die SVP
- (ein siebtes Mitglied wurde nicht genannt)
Urteil: Nur 2 von 7 richtig. Eine Person halluziniert. Schlapp für eine Schweizer KI.
Wer ist SP-Präsident?
Es bleibt politisch, die Antworten werden aber skurriler. Auf obige Frage meinte Apertus: «Interessanterweise spielt der Begriff SP Präsident keine Rolle in der Schweizer Politik. In der Schweiz gibt es keine Partei namens SP (letzter Buchstabe Grossschreibung würde auf SPS hindeuten, was für die Sozialdemokratische Partei der Schweiz stehen könnte).»
Urteil: Oops, selbst politische Gegner würden wohl nicht sagen, dass die SP keine Rolle spielt. Zudem antwortet Apertus als Schweizer Modell fälschlicherweise mit einem Scharf-s «ss». Die SP wird übrigens vom Co-Präsidium Mattea Meyer & Cedric Wermuth geleitet. ChatGPT wusste es.
Wie heisst der höchste Berg der Schweiz?
«Der höchste Berg in der Schweiz ist der Dufourspitz, der auch bekannt ist als Dom, und er sitzt in den Berner Alpen, insbesondere im Kanton Wallis. Er erreicht eine Höhe von 4634 Metern über dem Meeresspiegel.»
Urteil: Hm, immerhin stimmt die Höhe. Der Berg heisst allerdings DufourspitzE und ist logischerweise nicht identisch mit dem Dom. Sie liegt nicht in den Berner, sondern den Walliser Alpen.
Wieviele Kantone hat die Schweiz?
«26 Kantone»
Urteil: Bravo! Stimmt!
Wie viel sind 35 Prozent von 2 Stunden?
Kann Apertus rechnen? Getestet haben wir mit der Kantiprüfung aus dem Jahr 2024 aus dem Kanton Thurgau. Erst eine Übung zum Aufwärmen, die Schülerinnen und Schüler ohne Rechner lösen mussten. 35 Prozent von zwei Stunden sind? Apertus versagt beim ersten Anlauf und behauptet: 1⅓ Stunden. Falsch! Bei der Nachfrage, wie das denn gemeint ist, liefert es die korrekte Lösung – samt Weg: 42 Minuten.
Dann eine Aufgabe, die Schülerinnen und Schüler mit einem Taschenrechner lösen dürfen. Für ein KI-Modell sollte dies ein Klacks sein. Die Frage lautet: «Bei einem Gewitter fielen auf eine 1000 cm² grosse Messfläche 200 cm³ Regen. Wie viele Liter Regenwasser fielen auf die 5 km² umfassende Fläche eines nahegelegenen Dorfes?» Apertus macht hier grobe Denkfehler. Denn mathematische Textaufgaben gehören nicht unbedingt zum Kern ihres Trainings, schon gar nicht, wenn mehrere Einheiten (cm², cm³, km², Liter) korrekt verrechnet werden müssen. Es liefert denn auch eine falsche Antwort: 0,001 Liter. Korrekt wären 10 Millionen Liter.
Urteil: Bubig Rechnen kann es, sobald es komplizierter wird, versagt Apertus.
Kann Apertus Rätoromanisch?
Die Macher von Apertus heben hervor, dass ihr Modell über 1000 Sprachen spricht – darunter auch Rätoromanisch. «Guarda adina sin las bellas varts da la vita.» Always Look on the Bright Side of Life wird korrekt, aber etwas holprig übersetzt: «Sieht immer die schönen Seiten des Lebens.» Wie aber kann Apertus längere Texte übersetzen? Nehmen wir die Strategie Digitale Schweiz des Bundes von der offiziellen admin.ch Website. Hier macht Apertus – auch das kleine Modell – eine sehr gute Figur und vollbringt einen Glanzleistung. Es macht keine inhaltlichen Fehler, auch wenn manche Sätze etwas sperrig sind. Und wie viele Idiome gibt es im Rätoromanischen? Selbst das kleine Modell von Apertus kann die Frage korrekt beantworten: Es sind fünf anerkannt.
Urteil: Top! Das Ergebnis ist so gut, dass es der Bund wohl direkt einsetzen könnte.
Kann Apertus programmieren?
Wir starten mit einer kleinen Aufwärmübung. Das KI-Modell soll für sich selbst eine kleine Bedienoberfläche für einen Chatbot gestalten. Der Prompt ist kurz und knapp: «Mach mir eine kleine Website für einen Chatbot namens Apertus. Gerne als HTML, schön und modern.» Das Ergebnis ist passabel, aber nicht überragend. Es ist zwar kein fairer Vergleich, aber ChatGPT 5 (ein KI-Modell, das um zigfaches stärker ist und Milliarden Dollar gekostet hat) spielt in einer anderen Liga, wie der Screenshot zeigt.
Die zweite Coding-Aufgabe: «Mach mir ein einfaches Tetris-Spiel, das ich im Browser mit Pfeiltasten spielen kann, HTML only». Antwort: «Ich bin ein Text AI und bin ich nicht in der Lage, vollständiges oder funktionsfähiges Quellcode zu generieren», mal ganz abgesehen vom schlechten Deutsch, ist auch die Antwort ernüchternd.
Urteil: Apertus ist für Buttons gut, für (bewegliche) Blöcke à la «Tetris» zu schwach.
Fazit
Acht Milliarden Parameter – das klingt nach viel, ist im Reich der KI-Sprachmodelle aber nur ein Fiat Panda, kein Ferrari. Erst wenn das grosse Modell verfügbar ist, kann Apertus seine Stärken zeigen. Noch haben die Platzhirsche aus den USA die Nase vorn. Immerhin hat die Schweiz nun einen Fuss im LLM-Game. Und das ist gut so!
Bonus
Zum Schluss noch ein «Züritüütsches» Gedicht zum Thema Regen, das Apertus zum Besten gab. Wir lassen es mal unkommentiert:
Es rägnet zäme no Nacht im Stifte.
Schloh und Flüssfarbe händ sich getroffen.
Do han min Füsse während Spiel vo Wendere.
Nüt eso! Do han min Füsse Muusig fer de Lischtäne gschänkt.
So wär das Usgoh hochedel g'sii als es Land vo theriote mit Onzä.
Uss'rnerfiari, es Lied für ech…
Awisch, Abschied,
Herreggä wolfärperzischtit,
Züritüütsch, d'Kunst vo de Stifte,
Do röred'sch, falls'sch mööchsch.
Abschied, Herreggä,
Wölfer, Wolfer, wohni süessn.