• Aleph Alpha stellt eine revolutionäre Tokenizer-freie (T-Free) LLM-Architektur vor, die KI-Finetuning und -Anpassung in verschiedenen Sprachen, Alphabeten und hochspezialisierten Branchenwissen effizienter und effektiver macht.
• Diese Innovation adressiert eine wesentliche Einschränkung herkömmlicher LLMs und schafft neue Möglichkeiten für die Entwicklung souveräner KI-Lösungen für Behörden und Unternehmen.
• Die Kooperation mit AMD und Schwarz Digits stärkt Aleph Alphas neue LLM-Architektur durch den Zugang zu High-Performance-Computing und einer souveränen Cloud-Lösung.

Aleph Alpha, ein führender Anbieter von KI-Lösungen mit Hauptsitz in Heidelberg, hat eine neue innovative Architektur für LLMs vorgestellt, die eine der größten Herausforderungen der KI adressiert.

Die auf dem Markt gängigen LLMs (Closed- sowie Open-Source) liefern oft unbefriedigende Ergebnisse, wenn sie an neue Sprachen oder hochspezialisiertes Branchenwissen angepasst werden, die nicht, oder nur unzureichend, in den ursprünglichen Trainingsdaten vertreten sind. Auch das nachträgliche Finetuning erweist sich häufig als ineffizient. Ein Hauptgrund hierfür ist, dass die Muster, die LLMs lernen, auf der tokenisierten Version der Texte basieren, mit denen sie trainiert wurden. Weicht ein neuer Text erheblich von den ursprünglichen Trainingsdaten ab, kann er nicht effizient tokenisiert werden.

„Unsere Tokenizer-freie Modellarchitektur adressiert eine der größten Herausforderungen der KI: Das Finetuning und die Entwicklung souveräner Modelle für verschiedene Alphabete, weniger verbreitete Sprachen und hochspezifisches Branchenwissen. In diesen Bereichen ist es bisher nur mit Einschränkungen gelungen, bestehende Modelle effizient und effektiv anzupassen. In Kombination mit der hohen Effizienz der neuesten KI-Technologie von AMD markiert unsere Tokenizer-freie Modellarchitektur einen revolutionären Durchbruch und eröffnet strategische Möglichkeiten, die bisher unerreichbar waren“, sagt Jonas Andrulis, Gründer und CEO von Aleph Alpha.

Aleph Alphas neue LLM-Architektur kommt ohne Tokenizer aus und macht es einfacher, die Fähigkeiten von LLMs über die ursprünglichen Trainingsdaten hinaus zu erweitern. Der Ansatz stellt eine Lösung für ein zentrales Problem gegenwärtiger Sprachmodellarchitekturen dar, die in der Regel nur auf Daten effizient trainiert werden können, die ähnliche Token wie die ursprünglichen Trainingsdaten aufweisen. Das Finetuning derzeitiger Modelle anhand von Daten, die sich erheblich von den ursprünglichen Trainingsdaten unterscheiden, erfordert sehr große Datensätze (die für weniger verbreitete Sprachen oft nicht verfügbar sind) und enorme Rechenleistungen. Dies führt zu Modellen mit hohen Inferenzkosten und einem wenig nachhaltigen ökologischen Fußabdruck.

Die Neuentwicklung legt den Grundstein für eine neue Generation von KI-Lösungen, die es Behörden und Unternehmen ermöglicht, eigene souveräne GenAI-Lösungen auf Basis ihrer Landessprachen, kulturellen Spezifikationen, Fachkenntnissen und Terminologien zu entwickeln. Dies wird dazu beitragen, den Zugang zur GenAI-Technologie zu demokratisieren und die wirtschaftliche und kulturelle Vielfalt zu fördern.

„Ich habe Aleph Alpha mit der Mission gegründet, die Souveränität von Staaten und Unternehmen weltweit im Zeitalter der KI zu stärken. Für unsere Kunden bedeutet dies Open-Source-Integration, maximale Transparenz und Vertrauenswürdigkeit für eine neue Ära der Mensch-Maschine-Kollaboration, zukunftssichere transformative KI-Lösungen und die freie Wahl der Anwendungsumgebung“, sagt Jonas Andrulis, Gründer und CEO von Aleph Alpha.

Durch die Kombination der fortschrittlichen GenAI-Technologie von Aleph Alpha mit der Leistung und Effizienz des AMD Instinct™ MI300 Series-Accelerators und Optimierungen für den Open AMD ROCm™-Softwarestack hat Aleph Alpha bedeutende Fortschritte in der GenAI-Leistung erzielt. Dank der hohen Speicherkapazität des AMD Instinct-Accelerators bietet diese Lösung sowohl Leistungs- als auch Effizienzvorteile, insbesondere für weniger verbreitete Sprachen.

So ermöglicht diese neue, innovative KI-Modellarchitektur etwa bei Finnisch eine Reduzierung der Trainingskosten und des CO₂-Fußabdrucks um 70 Prozent im Vergleich zu alternativen Optionen (siehe Abbildung unten, die einen Vergleich der Leistungsmessungen an einem einzelnen Knoten zwischen T-Free und modernen Tokenizer-basierten Modellen zeigt).

„Diese Zusammenarbeit generiert einen Mehrwert, der über KI hinausgeht – sie stärkt die Resilienz und fördert Innovationen im europäischen KI-Ökosystem“, sagt Keith Strier, SVP, Global AI Markets, AMD. „Wir freuen uns sehr über die Zusammenarbeit mit Aleph Alpha und Schwarz Digits, um die KI-Fähigkeiten Europas zu stärken und ein neues Angebot für Behörden zu schaffen: Eine hochtransparente GenAI-Plattform, die in Europa entwickelt und trainiert wird und außergewöhnliche Effizienz auf unserer AMD KI-Infrastruktur liefert.“

Neben einer High-Performance-Compute-Plattform, die auf AMD Instinct-GPUs und dem Open AMD ROCm-Softwarestack basiert, trug auch das AMD SiloAI-Team in Helsinki dazu bei, die revolutionären multilingualen Fähigkeiten von Aleph Alpha’s neuer Modellarchitektur zu demonstrieren. Die Initiative wird zusätzlich durch die Datenzentren und die technische Bereitstellungskompetenz von STACKIT, der souveränen Cloud-Lösung von Schwarz Digits, gestärkt. Schwarz Digits ist die IT- und Digitalsparte der Schwarz Gruppe, Europas größtem Einzelhändler mit 575.000 Mitarbeitern und Hauptsitz in Deutschland.

Die KI-Funktionen des Pharia-Betriebssystems von Aleph Alpha – zugeschnitten auf AMD-Hardware – bieten ein souveränes Gesamtpaket aus KI-Software und -Hardware. Dies bringt erhebliche Vorteile bei den Computing-Kosten und der Umweltbilanz. Neben der neuen Pharia LLM Generation von Tokenizer-freien Basismodellen, bei denen Aleph Alpha Pionierarbeit geleistet hat, integriert PhariaAI mehrere Innovationen in den Bereichen Erklärbarkeit, Transparenz und Effizienz und fördert die schnelle Integration vertrauenswürdiger GenAI-Lösungen in Anwendungen für Unternehmen und Behörden.

Unser neuestes Forschungspapier über Tokenizer-freie (T-Free) Sprachmodellierung ist hier verfügbar.

Weitere technische Details finden Sie in unserem Blog hier.

Weitere Informationen über AMD Instinct Accelerators finden Sie in der Zeile „AMD Instinct Accelerators“ am Ende des Blogs: AMD Instinct Accelerators.

AMD, das AMD Logo, AMD Instinct, ROCm und Kombinationen davon sind Marken von Advanced Micro Devices, In2c.

Aleph Alpha ist ein deutsches KI-Unternehmen und wurde 2019 mit der Mission gegründet, KI-Basistechnologie für eine neue Ära der starken KI zu erforschen und zu entwickeln. Das Team aus internationalen Wissenschaftlern, Ingenieuren und Innovatoren erforscht, entwickelt und implementiert transformative KI wie große KI-Sprach- und multimodale Modelle und betreibt das schnellste europäische kommerzielle KI-Rechenzentrum. Aleph Alphas generative KI-Lösungen können Unternehmen und öffentliche Institutionen dabei unterstützen, technologische Unabhängigkeit zu wahren, Daten zu sichern und vertrauenswürdige Lösungen aufzubauen.

Weitere Informationen unter: https://aleph-alpha.com/

Pressekontakt: press@aleph-alpha.com

Schwarz Digits ist die IT- und Digitalsparte der Schwarz Gruppe. Sie bietet überzeugende digitale Produkte und Services an, die den hohen deutschen Datenschutzstandards entsprechen. Damit garantiert Schwarz Digits größtmögliche digitale Souveränität. Mit diesem Anspruch stellt Schwarz Digits die IT-Infrastruktur und Lösungen für das umfangreiche Ökosystem der Unternehmen der Schwarz Gruppe bereit und entwickelt dieses zukunftsfähig weiter. Schwarz Digits schafft optimale Bedingungen für die Entwicklung richtungsweisender Innovationen für Endkunden, Unternehmen und Organisationen der öffentlichen Hand. Zur Schwarz Digits gehören 7.500 Mitarbeiter der Marken Schwarz IT, Schwarz Digital, STACKIT, XM Cyber, Lidl e-commerce, Kaufland e-commerce, Schwarz Media und mmmake.

Der Cloud- und Colocation-Provider STACKIT ist Teil der Schwarz Gruppe. Auch externe Partner und Kunden in der DACH-Region können sich bei ihrer digitalen Transformation auf die Cloud-Services verlassen, von denen die Unternehmen der Schwarz Gruppe seit Jahren profitieren. Mit einer weit über den Marktstandard hinausgehenden Datensouveränität sowie individuellen Ansätzen zur Implementierung und zum Betrieb von Cloud-Lösungen begleitet STACKIT Digitalisierungsvorhaben ganzheitlich. Das im schwäbischen Neckarsulm beheimatete Team ebnet so den Weg in ein unabhängiges Europa – digital, führend. Als Teil von Schwarz Digits gehört die STACKIT GmbH und Co. KG zur IT- und Digitalsparte der Schwarz Gruppe.