Llama (Sprachmodell): Unterschied zwischen den Versionen

Aus InkluPedia
(+)
(Stil)
 
(3 dazwischenliegende Versionen desselben Benutzers werden nicht angezeigt)
Zeile 1: Zeile 1:
'''LLaMA''' ('''Large Language Model Meta AI''') ist ein Large Language Model (LLM) von Meta AI, das zum [[Vereinigte Staaten|US-amerikanischen]] Technologieunternehmen Meta Platforms (bis Oktober 2021 Facebook, Inc.) gehört. LLaMA wurde am 24. Februar 2023 veröffentlicht<ref>[https://ai.facebook.com/blog/large-language-model-llama-meta-ai/ Introducing LLaMA: A foundational, 65-billion-parameter language model, February 24, 2023]</ref> und soll als Grundlage für einen eigenen Chatbot dienen. Für das Training verwendete Meta ausschließlich öffentlich verfügbare Datensätze wie etwa Inhalte des Project Gutenberg. Dadurch soll es "kompatibel mit Open Source und reproduzierbar" sein. Über 92 Prozent des LLaMA-Codes besteht aus der Programmiersprache Python.<ref>[https://www.heise.de/news/Nach-ChatGPT-Facebook-Konzern-Meta-will-mit-LLaMA-bei-Chatbots-mitmischen-7527502.html Nach ChatGPT: Facebook-Konzern Meta will mit LLaMA bei Chatbots mitmischen | heise online, 25.02.2023]</ref>
'''Llama''' ('''früher LLaMA''') ('''Large Language Model Meta AI''') ist ein Large Language Model (LLM) von Meta AI, das zum [[Vereinigte Staaten|US-amerikanischen]] Technologieunternehmen Meta Platforms (bis Oktober 2021 Facebook, Inc.) gehört. LLaMA wurde am 24. Februar 2023 veröffentlicht<ref>[https://ai.facebook.com/blog/large-language-model-llama-meta-ai/ Introducing LLaMA: A foundational, 65-billion-parameter language model, February 24, 2023]</ref> und soll als Grundlage für einen eigenen Chatbot dienen. Für das Training verwendete Meta ausschließlich öffentlich verfügbare Datensätze wie etwa Inhalte des Project Gutenberg. Dadurch soll es "kompatibel mit Open Source und reproduzierbar" sein. Über 92 Prozent des LLaMA-Codes besteht aus der Programmiersprache Python.<ref>[https://www.heise.de/news/Nach-ChatGPT-Facebook-Konzern-Meta-will-mit-LLaMA-bei-Chatbots-mitmischen-7527502.html Nach ChatGPT: Facebook-Konzern Meta will mit LLaMA bei Chatbots mitmischen | heise online, 25.02.2023]</ref>


Facebook Research stellte LLaMA der weltweiten KI-Forschungs-Community nach einer kurzen Prüfung der jeweiligen E-Mail-Adresse zur Verfügung. Kurze Zeit später wurde das Modell geleakt und wurde als BitTorrent bereitgetellt. Das Modell gibt es anfangs in vier unterschiedlichen Größen: mit 7 Milliarden, 13 Milliarden, 30 Milliarden oder 65 Milliarden Parametern.<ref>[https://www.heise.de/hintergrund/Grosses-KI-Sprachmodell-am-eigenen-Rechner-Ein-LLaMA-fuer-die-Westentasche-7624131.html Großes KI-Sprachmodell am eigenen Rechner: Ein LLaMA für die Westentasche? | heise online, 24.03.2023]</ref> Das Institute for Human-Centered Artificial Intelligence der Stanford University veröffentlicht mit ''Alpaca 7B'' ein Open Source Sprachmodell basierend auf das LLaMA-Modell mit 7 Milliarden Parametern.<ref>[https://www.derstandard.de/story/2000144721795/alpaca-7b-stanford-forschende-trainierten-chatgpt-konkurrenten-um-600-dollar "Alpaca 7B": Stanford-Forschende trainierten ChatGPT-Konkurrenten um 600 Dollar - Innovationen - derStandard.de › Web, 21. März 2023]</ref> Der darauf basierende Chatbot Alpaca AI wurde nach kurzer Zeit wegen Verbreitung von Fehlinformationen abgeschaltet.<ref>[https://t3n.de/news/alpaca-ai-verbreitet-fakenews-offline-aus-ende-schluss-1543040/ t3n | Alpaca AI verbreitet Fake News und wird offline genommen, 22.03.2023]</ref> Am 18. Juli 2023<ref>[https://ai.meta.com/blog/llama-2/ Meta and Microsoft Introduce the Next Generation of Llama, July 18, 2023]</ref> stellte Meta Platforms LLaMA 2 vor. Laut Meta wurden für LLaMA 2 im Vergleich zum ersten LLaMA 40 Prozent mehr Daten für das Training eingesetzt und dabei doppelt so viel Kontext einbezogen.<ref>[https://www.heise.de/news/Meta-und-Microsoft-praesentieren-neues-Sprachmodell-LLaMA-2-9220357.html Meta und Microsoft präsentieren neues Sprachmodell LLaMA 2 | heise online, 19.07.2023]</ref><ref>[https://ai.meta.com/resources/models-and-libraries/llama/ Llama 2 - Resource Overview - Meta AI] (abgerufen am 19. Juli 2023)</ref> Gut einen Monat später veröffentlichte Meta mit ''Code Llama'' ein Programm, welches mithilfe des LLMs LLaMA Programmcode generieren und korrigieren kann.<ref>[https://www.heise.de/news/Code-Llama-Meta-gibt-KI-fuer-das-Schreiben-von-Code-frei-9284369.html Meta veröffentlicht Code Llama, das auf Zuruf Programmcode schreibt | heise online, 24.08.2023]</ref><ref>[https://ai.meta.com/blog/code-llama-large-language-model-coding/ Introducing Code Llama, a state-of-the-art large language model for coding, August 24, 2023]</ref>
Facebook Research stellte LLaMA der weltweiten KI-Forschungs-Community nach einer kurzen Prüfung der jeweiligen E-Mail-Adresse zur Verfügung. Kurze Zeit später wurde das Modell geleakt und wurde als BitTorrent bereitgetellt. Das Modell gibt es anfangs in vier unterschiedlichen Größen: mit 7 Milliarden, 13 Milliarden, 30 Milliarden oder 65 Milliarden Parametern.<ref>[https://www.heise.de/hintergrund/Grosses-KI-Sprachmodell-am-eigenen-Rechner-Ein-LLaMA-fuer-die-Westentasche-7624131.html Großes KI-Sprachmodell am eigenen Rechner: Ein LLaMA für die Westentasche? | heise online, 24.03.2023]</ref> Das Institute for Human-Centered Artificial Intelligence der Stanford University veröffentlicht mit ''Alpaca 7B'' ein Open Source Sprachmodell basierend auf das LLaMA-Modell mit 7 Milliarden Parametern.<ref>[https://www.derstandard.de/story/2000144721795/alpaca-7b-stanford-forschende-trainierten-chatgpt-konkurrenten-um-600-dollar "Alpaca 7B": Stanford-Forschende trainierten ChatGPT-Konkurrenten um 600 Dollar - Innovationen - derStandard.de › Web, 21. März 2023]</ref> Der darauf basierende Chatbot Alpaca AI wurde nach kurzer Zeit wegen Verbreitung von Fehlinformationen abgeschaltet.<ref>[https://t3n.de/news/alpaca-ai-verbreitet-fakenews-offline-aus-ende-schluss-1543040/ t3n | Alpaca AI verbreitet Fake News und wird offline genommen, 22.03.2023]</ref> Am 18. Juli 2023<ref>[https://ai.meta.com/blog/llama-2/ Meta and Microsoft Introduce the Next Generation of Llama, July 18, 2023]</ref> stellte Meta Platforms LLaMA 2 vor. Laut Meta wurden für LLaMA 2 im Vergleich zum ersten LLaMA 40 Prozent mehr Daten für das Training eingesetzt und dabei doppelt so viel Kontext einbezogen.<ref>[https://www.heise.de/news/Meta-und-Microsoft-praesentieren-neues-Sprachmodell-LLaMA-2-9220357.html Meta und Microsoft präsentieren neues Sprachmodell LLaMA 2 | heise online, 19.07.2023]</ref><ref>[https://ai.meta.com/resources/models-and-libraries/llama/ Llama 2 - Resource Overview - Meta AI] (abgerufen am 19. Juli 2023)</ref> Gut einen Monat später veröffentlichte Meta mit ''Code Llama'' ein Programm, welches mithilfe des LLMs LLaMA Programmcode generieren und korrigieren kann.<ref>[https://www.heise.de/news/Code-Llama-Meta-gibt-KI-fuer-das-Schreiben-von-Code-frei-9284369.html Meta veröffentlicht Code Llama, das auf Zuruf Programmcode schreibt | heise online, 24.08.2023]</ref><ref>[https://ai.meta.com/blog/code-llama-large-language-model-coding/ Introducing Code Llama, a state-of-the-art large language model for coding, August 24, 2023]</ref>
Am 7. Dezember 2023 startete Meta AI das Dachprojekt Purple Llama. Der Namensteil ''Purple'' ist an das Purple-Teaming-Konzept für Cybersecurity angelehnt. Dabei arbeiten ein Red Team als Angreifer und ein Blue Team als Verteidiger zusammen, um die Security zu stärken.<ref>[https://www.heise.de/news/Vertrauenswuerdigere-und-sicherere-KI-Meta-startet-Purple-Llama-9568272.html Vertrauenswürdigere und sicherere KI: Meta startet Purple Llama | heise online, 09.12.2023]</ref><ref>[https://ai.meta.com/blog/purple-llama-open-trust-safety-generative-ai/ AI at Meta | Announcing Purple Llama: Towards open trust and safety in the new world of generative AI, December 7, 2023]</ref>
Am 18. April 2024 ersetzte Meta Platforms das LLM in seinem Chatbot Meta AI durch Meta Llama 3 in englischer Sprache in 14 Staaten. Die grösste Variante von Meta Llama 3 wurde mit Daten bis Dezember 2023 erstellt und basiert auf 70 Milliarden Parametern. Die kleinere Variante mit acht Milliarden Parametern kennt Daten bis März 2023.<ref>[https://www.heise.de/news/Meta-AI-laeuft-jetzt-mit-Llama-3-9690318.html Meta AI läuft jetzt mit Llama 3 | heise online, 18.04.2024]</ref> In lama 3.1 vom 23. Juli 2024 gibt es Sprachmodelle mit 8, 70 und 405 Milliarden Parametern. lama 3.1 beherrscht auch deutsch und einige weitere Sprachen. Die Kontextlänge beschränkt sich auf 128.000 Token.<ref>[https://www.heise.de/news/Meta-veroeffentlicht-Llama-3-1-405B-ein-Knaller-wie-Zuckerberg-sagt-9811276.html Meta veröffentlicht Llama 3.1 405B – ein "Knaller" wie Zuckerberg sagt | heise online, 24.07.2024]</ref><ref>[https://ai.meta.com/blog/meta-llama-3-1/ AI at Meta | Introducing Llama 3.1: Our most capable models to date, July 23, 2024]</ref>


== Weblinks ==
== Weblinks ==

Aktuelle Version vom 25. September 2024, 06:22 Uhr

Llama (früher LLaMA) (Large Language Model Meta AI) ist ein Large Language Model (LLM) von Meta AI, das zum US-amerikanischen Technologieunternehmen Meta Platforms (bis Oktober 2021 Facebook, Inc.) gehört. LLaMA wurde am 24. Februar 2023 veröffentlicht[1] und soll als Grundlage für einen eigenen Chatbot dienen. Für das Training verwendete Meta ausschließlich öffentlich verfügbare Datensätze wie etwa Inhalte des Project Gutenberg. Dadurch soll es "kompatibel mit Open Source und reproduzierbar" sein. Über 92 Prozent des LLaMA-Codes besteht aus der Programmiersprache Python.[2]

Facebook Research stellte LLaMA der weltweiten KI-Forschungs-Community nach einer kurzen Prüfung der jeweiligen E-Mail-Adresse zur Verfügung. Kurze Zeit später wurde das Modell geleakt und wurde als BitTorrent bereitgetellt. Das Modell gibt es anfangs in vier unterschiedlichen Größen: mit 7 Milliarden, 13 Milliarden, 30 Milliarden oder 65 Milliarden Parametern.[3] Das Institute for Human-Centered Artificial Intelligence der Stanford University veröffentlicht mit Alpaca 7B ein Open Source Sprachmodell basierend auf das LLaMA-Modell mit 7 Milliarden Parametern.[4] Der darauf basierende Chatbot Alpaca AI wurde nach kurzer Zeit wegen Verbreitung von Fehlinformationen abgeschaltet.[5] Am 18. Juli 2023[6] stellte Meta Platforms LLaMA 2 vor. Laut Meta wurden für LLaMA 2 im Vergleich zum ersten LLaMA 40 Prozent mehr Daten für das Training eingesetzt und dabei doppelt so viel Kontext einbezogen.[7][8] Gut einen Monat später veröffentlichte Meta mit Code Llama ein Programm, welches mithilfe des LLMs LLaMA Programmcode generieren und korrigieren kann.[9][10]

Am 7. Dezember 2023 startete Meta AI das Dachprojekt Purple Llama. Der Namensteil Purple ist an das Purple-Teaming-Konzept für Cybersecurity angelehnt. Dabei arbeiten ein Red Team als Angreifer und ein Blue Team als Verteidiger zusammen, um die Security zu stärken.[11][12]

Am 18. April 2024 ersetzte Meta Platforms das LLM in seinem Chatbot Meta AI durch Meta Llama 3 in englischer Sprache in 14 Staaten. Die grösste Variante von Meta Llama 3 wurde mit Daten bis Dezember 2023 erstellt und basiert auf 70 Milliarden Parametern. Die kleinere Variante mit acht Milliarden Parametern kennt Daten bis März 2023.[13] In lama 3.1 vom 23. Juli 2024 gibt es Sprachmodelle mit 8, 70 und 405 Milliarden Parametern. lama 3.1 beherrscht auch deutsch und einige weitere Sprachen. Die Kontextlänge beschränkt sich auf 128.000 Token.[14][15]

Weblinks

Quellen

  1. ↑ Introducing LLaMA: A foundational, 65-billion-parameter language model, February 24, 2023
  2. ↑ Nach ChatGPT: Facebook-Konzern Meta will mit LLaMA bei Chatbots mitmischen | heise online, 25.02.2023
  3. ↑ Großes KI-Sprachmodell am eigenen Rechner: Ein LLaMA für die Westentasche? | heise online, 24.03.2023
  4. ↑ "Alpaca 7B": Stanford-Forschende trainierten ChatGPT-Konkurrenten um 600 Dollar - Innovationen - derStandard.de › Web, 21. März 2023
  5. ↑ t3n | Alpaca AI verbreitet Fake News und wird offline genommen, 22.03.2023
  6. ↑ Meta and Microsoft Introduce the Next Generation of Llama, July 18, 2023
  7. ↑ Meta und Microsoft präsentieren neues Sprachmodell LLaMA 2 | heise online, 19.07.2023
  8. ↑ Llama 2 - Resource Overview - Meta AI (abgerufen am 19. Juli 2023)
  9. ↑ Meta veröffentlicht Code Llama, das auf Zuruf Programmcode schreibt | heise online, 24.08.2023
  10. ↑ Introducing Code Llama, a state-of-the-art large language model for coding, August 24, 2023
  11. ↑ Vertrauenswürdigere und sicherere KI: Meta startet Purple Llama | heise online, 09.12.2023
  12. ↑ AI at Meta | Announcing Purple Llama: Towards open trust and safety in the new world of generative AI, December 7, 2023
  13. ↑ Meta AI läuft jetzt mit Llama 3 | heise online, 18.04.2024
  14. ↑ Meta veröffentlicht Llama 3.1 405B – ein "Knaller" wie Zuckerberg sagt | heise online, 24.07.2024
  15. ↑ AI at Meta | Introducing Llama 3.1: Our most capable models to date, July 23, 2024
Abgerufen von „https://inklupedia.de/index.php?title=Llama_(Sprachmodell)&oldid=74739“