LLaMA: Unterschied zwischen den Versionen
(+) |
(+) |
||
| Zeile 1: | Zeile 1: | ||
'''LLaMA''' ('''Large Language Model Meta AI''') ist ein Large Language Model (LLM) von Meta AI, das zum [[Vereinigte Staaten|US-amerikanischen]] Technologieunternehmen Meta Platforms (bis Oktober 2021 Facebook, Inc.) gehört. LLaMA wurde am 24. Februar 2023 veröffentlicht<ref>[https://ai.facebook.com/blog/large-language-model-llama-meta-ai/ Introducing LLaMA: A foundational, 65-billion-parameter language model, February 24, 2023]</ref> und soll als Grundlage für einen eigenen Chatbot dienen. Für das Training verwendete Meta ausschließlich öffentlich verfügbare Datensätze wie etwa Inhalte des Project Gutenberg. Dadurch soll es "kompatibel mit Open Source und reproduzierbar" sein. Über 92 Prozent des LLaMA-Codes besteht aus der Programmiersprache Python.<ref>[https://www.heise.de/news/Nach-ChatGPT-Facebook-Konzern-Meta-will-mit-LLaMA-bei-Chatbots-mitmischen-7527502.html Nach ChatGPT: Facebook-Konzern Meta will mit LLaMA bei Chatbots mitmischen | heise online, 25.02.2023]</ref> | '''LLaMA''' ('''Large Language Model Meta AI''') ist ein Large Language Model (LLM) von Meta AI, das zum [[Vereinigte Staaten|US-amerikanischen]] Technologieunternehmen Meta Platforms (bis Oktober 2021 Facebook, Inc.) gehört. LLaMA wurde am 24. Februar 2023 veröffentlicht<ref>[https://ai.facebook.com/blog/large-language-model-llama-meta-ai/ Introducing LLaMA: A foundational, 65-billion-parameter language model, February 24, 2023]</ref> und soll als Grundlage für einen eigenen Chatbot dienen. Für das Training verwendete Meta ausschließlich öffentlich verfügbare Datensätze wie etwa Inhalte des Project Gutenberg. Dadurch soll es "kompatibel mit Open Source und reproduzierbar" sein. Über 92 Prozent des LLaMA-Codes besteht aus der Programmiersprache Python.<ref>[https://www.heise.de/news/Nach-ChatGPT-Facebook-Konzern-Meta-will-mit-LLaMA-bei-Chatbots-mitmischen-7527502.html Nach ChatGPT: Facebook-Konzern Meta will mit LLaMA bei Chatbots mitmischen | heise online, 25.02.2023]</ref> | ||
Facebook Research stellte LLaMA der weltweiten KI-Forschungs-Community nach einer kurzen Prüfung der jeweiligen E-Mail-Adresse zur Verfügung. Kurze Zeit später wurde das Modell geleakt und wurde als BitTorrent bereitgetellt. Das Modell gibt es anfangs in vier unterschiedlichen Größen: mit 7 Milliarden, 13 Milliarden, 30 Milliarden oder 65 Milliarden Parametern.<ref>[https://www.heise.de/hintergrund/Grosses-KI-Sprachmodell-am-eigenen-Rechner-Ein-LLaMA-fuer-die-Westentasche-7624131.html Großes KI-Sprachmodell am eigenen Rechner: Ein LLaMA für die Westentasche? | heise online, 24.03.2023]</ref> Das Institute for Human-Centered Artificial Intelligence der Stanford University veröffentlicht mit ''Alpaca 7B'' ein Open Source Sprachmodell basierend auf das LLaMA-Modell mit 7 Milliarden Parametern.<ref>[https://www.derstandard.de/story/2000144721795/alpaca-7b-stanford-forschende-trainierten-chatgpt-konkurrenten-um-600-dollar "Alpaca 7B": Stanford-Forschende trainierten ChatGPT-Konkurrenten um 600 Dollar - Innovationen - derStandard.de › Web, 21. März 2023]</ref> Der darauf basierende Chatbot Alpaca AI wurde nach kurzer Zeit wegen Verbreitung von Fehlinformationen abgeschaltet.<ref>[https://t3n.de/news/alpaca-ai-verbreitet-fakenews-offline-aus-ende-schluss-1543040/ t3n | Alpaca AI verbreitet Fake News und wird offline genommen, 22.03.2023]</ref> Am 18. Juli 2023<ref>[https://ai.meta.com/blog/llama-2/ Meta and Microsoft Introduce the Next Generation of Llama, July 18, 2023]</ref> stellte Meta Platforms LLaMA 2 vor. Laut Meta wurden für LLaMA 2 im Vergleich zum ersten LLaMA 40 Prozent mehr Daten für das Training eingesetzt und dabei doppelt so viel Kontext einbezogen.<ref>[https://www.heise.de/news/Meta-und-Microsoft-praesentieren-neues-Sprachmodell-LLaMA-2-9220357.html Meta und Microsoft präsentieren neues Sprachmodell LLaMA 2 | heise online, 19.07.2023]</ref><ref>[https://ai.meta.com/resources/models-and-libraries/llama/ Llama 2 - Resource Overview - Meta AI] (abgerufen am 19. Juli 2023)</ref> | Facebook Research stellte LLaMA der weltweiten KI-Forschungs-Community nach einer kurzen Prüfung der jeweiligen E-Mail-Adresse zur Verfügung. Kurze Zeit später wurde das Modell geleakt und wurde als BitTorrent bereitgetellt. Das Modell gibt es anfangs in vier unterschiedlichen Größen: mit 7 Milliarden, 13 Milliarden, 30 Milliarden oder 65 Milliarden Parametern.<ref>[https://www.heise.de/hintergrund/Grosses-KI-Sprachmodell-am-eigenen-Rechner-Ein-LLaMA-fuer-die-Westentasche-7624131.html Großes KI-Sprachmodell am eigenen Rechner: Ein LLaMA für die Westentasche? | heise online, 24.03.2023]</ref> Das Institute for Human-Centered Artificial Intelligence der Stanford University veröffentlicht mit ''Alpaca 7B'' ein Open Source Sprachmodell basierend auf das LLaMA-Modell mit 7 Milliarden Parametern.<ref>[https://www.derstandard.de/story/2000144721795/alpaca-7b-stanford-forschende-trainierten-chatgpt-konkurrenten-um-600-dollar "Alpaca 7B": Stanford-Forschende trainierten ChatGPT-Konkurrenten um 600 Dollar - Innovationen - derStandard.de › Web, 21. März 2023]</ref> Der darauf basierende Chatbot Alpaca AI wurde nach kurzer Zeit wegen Verbreitung von Fehlinformationen abgeschaltet.<ref>[https://t3n.de/news/alpaca-ai-verbreitet-fakenews-offline-aus-ende-schluss-1543040/ t3n | Alpaca AI verbreitet Fake News und wird offline genommen, 22.03.2023]</ref> Am 18. Juli 2023<ref>[https://ai.meta.com/blog/llama-2/ Meta and Microsoft Introduce the Next Generation of Llama, July 18, 2023]</ref> stellte Meta Platforms LLaMA 2 vor. Laut Meta wurden für LLaMA 2 im Vergleich zum ersten LLaMA 40 Prozent mehr Daten für das Training eingesetzt und dabei doppelt so viel Kontext einbezogen.<ref>[https://www.heise.de/news/Meta-und-Microsoft-praesentieren-neues-Sprachmodell-LLaMA-2-9220357.html Meta und Microsoft präsentieren neues Sprachmodell LLaMA 2 | heise online, 19.07.2023]</ref><ref>[https://ai.meta.com/resources/models-and-libraries/llama/ Llama 2 - Resource Overview - Meta AI] (abgerufen am 19. Juli 2023)</ref> Gut einen Monat später veröffentlichte Meta mit ''Code Llama'' ein Programm, welches mithilfe des LLMs LLaMA Programmcode generieren und korrigieren kann.<ref>[https://www.heise.de/news/Code-Llama-Meta-gibt-KI-fuer-das-Schreiben-von-Code-frei-9284369.html Meta veröffentlicht Code Llama, das auf Zuruf Programmcode schreibt | heise online, 24.08.2023]</ref><ref>[https://ai.meta.com/blog/code-llama-large-language-model-coding/ Introducing Code Llama, a state-of-the-art large language model for coding, August 24, 2023]</ref> | ||
== Weblinks == | == Weblinks == | ||
Version vom 26. August 2023, 09:50 Uhr
LLaMA (Large Language Model Meta AI) ist ein Large Language Model (LLM) von Meta AI, das zum US-amerikanischen Technologieunternehmen Meta Platforms (bis Oktober 2021 Facebook, Inc.) gehört. LLaMA wurde am 24. Februar 2023 veröffentlicht[1] und soll als Grundlage für einen eigenen Chatbot dienen. Für das Training verwendete Meta ausschließlich öffentlich verfügbare Datensätze wie etwa Inhalte des Project Gutenberg. Dadurch soll es "kompatibel mit Open Source und reproduzierbar" sein. Über 92 Prozent des LLaMA-Codes besteht aus der Programmiersprache Python.[2]
Facebook Research stellte LLaMA der weltweiten KI-Forschungs-Community nach einer kurzen Prüfung der jeweiligen E-Mail-Adresse zur Verfügung. Kurze Zeit später wurde das Modell geleakt und wurde als BitTorrent bereitgetellt. Das Modell gibt es anfangs in vier unterschiedlichen Größen: mit 7 Milliarden, 13 Milliarden, 30 Milliarden oder 65 Milliarden Parametern.[3] Das Institute for Human-Centered Artificial Intelligence der Stanford University veröffentlicht mit Alpaca 7B ein Open Source Sprachmodell basierend auf das LLaMA-Modell mit 7 Milliarden Parametern.[4] Der darauf basierende Chatbot Alpaca AI wurde nach kurzer Zeit wegen Verbreitung von Fehlinformationen abgeschaltet.[5] Am 18. Juli 2023[6] stellte Meta Platforms LLaMA 2 vor. Laut Meta wurden für LLaMA 2 im Vergleich zum ersten LLaMA 40 Prozent mehr Daten für das Training eingesetzt und dabei doppelt so viel Kontext einbezogen.[7][8] Gut einen Monat später veröffentlichte Meta mit Code Llama ein Programm, welches mithilfe des LLMs LLaMA Programmcode generieren und korrigieren kann.[9][10]
Weblinks
Quellen
- ↑ Introducing LLaMA: A foundational, 65-billion-parameter language model, February 24, 2023
- ↑ Nach ChatGPT: Facebook-Konzern Meta will mit LLaMA bei Chatbots mitmischen | heise online, 25.02.2023
- ↑ Großes KI-Sprachmodell am eigenen Rechner: Ein LLaMA für die Westentasche? | heise online, 24.03.2023
- ↑ "Alpaca 7B": Stanford-Forschende trainierten ChatGPT-Konkurrenten um 600 Dollar - Innovationen - derStandard.de › Web, 21. März 2023
- ↑ t3n | Alpaca AI verbreitet Fake News und wird offline genommen, 22.03.2023
- ↑ Meta and Microsoft Introduce the Next Generation of Llama, July 18, 2023
- ↑ Meta und Microsoft präsentieren neues Sprachmodell LLaMA 2 | heise online, 19.07.2023
- ↑ Llama 2 - Resource Overview - Meta AI (abgerufen am 19. Juli 2023)
- ↑ Meta veröffentlicht Code Llama, das auf Zuruf Programmcode schreibt | heise online, 24.08.2023
- ↑ Introducing Code Llama, a state-of-the-art large language model for coding, August 24, 2023
Normdaten (Sachbegriff): Wikidata: Q116894231