Llama (Sprachmodell)

Llama (früher LLaMA) (Large Language Model Meta AI) ist ein Large Language Model (LLM) von Meta AI, das zum US-amerikanischen Technologieunternehmen Meta Platforms (bis Oktober 2021 Facebook, Inc.) gehört. LLaMA wurde am 24. Februar 2023 veröffentlicht und soll als Grundlage für einen eigenen Chatbot dienen. Für das Training verwendete Meta ausschließlich öffentlich verfügbare Datensätze wie etwa Inhalte des Project Gutenberg. Dadurch soll es "kompatibel mit Open Source und reproduzierbar" sein. Über 92 Prozent des LLaMA-Codes besteht aus der Programmiersprache Python.

Facebook Research stellte LLaMA der weltweiten KI-Forschungs-Community nach einer kurzen Prüfung der jeweiligen E-Mail-Adresse zur Verfügung. Kurze Zeit später wurde das Modell geleakt und wurde als BitTorrent bereitgetellt. Das Modell gibt es anfangs in vier unterschiedlichen Größen: mit 7 Milliarden, 13 Milliarden, 30 Milliarden oder 65 Milliarden Parametern. Das Institute for Human-Centered Artificial Intelligence der Stanford University veröffentlicht mit Alpaca 7B ein Open Source Sprachmodell basierend auf das LLaMA-Modell mit 7 Milliarden Parametern. Der darauf basierende Chatbot Alpaca AI wurde nach kurzer Zeit wegen Verbreitung von Fehlinformationen abgeschaltet. Am 18. Juli 2023 stellte Meta Platforms LLaMA 2 vor. Laut Meta wurden für LLaMA 2 im Vergleich zum ersten LLaMA 40 Prozent mehr Daten für das Training eingesetzt und dabei doppelt so viel Kontext einbezogen. Gut einen Monat später veröffentlichte Meta mit Code Llama ein Programm, welches mithilfe des LLMs LLaMA Programmcode generieren und korrigieren kann.

Am 7. Dezember 2023 startete Meta AI das Dachprojekt Purple Llama. Der Namensteil Purple ist an das Purple-Teaming-Konzept für Cybersecurity angelehnt. Dabei arbeiten ein Red Team als Angreifer und ein Blue Team als Verteidiger zusammen, um die Security zu stärken.

Am 18. April 2024 ersetzte Meta Platforms das LLM in seinem Chatbot Meta AI durch Meta Llama 3 in englischer Sprache in 14 Staaten. Die grösste Variante von Meta Llama 3 wurde mit Daten bis Dezember 2023 erstellt und basiert auf 70 Milliarden Parametern. Die kleinere Variante mit acht Milliarden Parametern kennt Daten bis März 2023. In lama 3.1 vom 23. Juli 2024 gibt es Sprachmodelle mit 8, 70 und 405 Milliarden Parametern. lama 3.1 beherrscht auch deutsch und einige weitere Sprachen. Die Kontextlänge beschränkt sich auf 128.000 Token.

Weblinks

• Llama - Meta AI