LLaMA (model d'IA)
| Tipus | model de llenguatge extens, programari, family of large-language models (en) |
|---|---|
| Versió inicial | febrer 2023 |
| Versió estable | 3.2 (25 setembre 2024) |
| Llicència | llicència GPL 3 de codi obert |
| Característiques tècniques | |
| Sistema operatiu | Multiplataforma |
| Escrit en | Python |
| Tipus de nucli | Arquitectura Transformer GPT-3 |
| Equip | |
| Creador/s | Meta AI |
| Desenvolupador(s) | Meta AI |
| Més informació | |
| Lloc web | llama.meta.com (anglès) |
|
| |
LLaMA (Large Language Model Meta AI) és un gran model de llenguatge (LLM) llançat per Meta AI el febrer de 2023. Es van entrenar una varietat de mides de models que van des dels 7 mil milions fins als 65 mil milions de paràmetres. Els desenvolupadors de LLaMA van informar que el rendiment del model de 13.000 milions de paràmetres a la majoria de punts de referència de NLP va superar el del GPT-3 molt més gran (amb 175.000 milions de paràmetres) i que el model més gran era competitiu amb models d'última generació com PaLM i Chinchilla. Mentre que els LLM més potents generalment només han estat accessibles mitjançant API limitades (si n'hi ha,), Meta va llançar els pesos del model de LLaMA a la comunitat de recerca sota una llicència no comercial. Una setmana després del llançament de LLaMA, els seus pesos es van filtrar al públic a 4chan a través de BitTorrent.[1][2]
LLaMA utilitza l'arquitectura transformadora, l'arquitectura estàndard per al modelatge de llenguatge des del 2018. Els desenvolupadors de LLaMA van centrar els seus esforços a escalar el rendiment del model augmentant el volum de dades d'entrenament, en lloc del nombre de paràmetres, raonant que el cost dominant per als LLM prové de fer inferència sobre el model entrenat en lloc del cost computacional del procés d'entrenament. LLaMA es va entrenar amb 1,4 bilions de fitxes, extretes de fonts de dades disponibles públicament, incloses: [3][4]
- Pàgines web rascades per CommonCrawl.
- Repositoris de codi font obert de GitHub.
- Viquipèdia en 20 idiomes diferents.
- Llibres de domini públic del Projecte Gutenberg.
- El codi font LaTeX per a articles científics penjats a ArXiv.
- Preguntes i respostes dels llocs web de Stack Exchange.
Aplicacions
[modifica]El Centre d'Investigació sobre Models Fundacionals (CRFM) de l'Institut d'Intel·ligència Artificial Centrada en l'Human de la Universitat Stanford (HAI) va llançar Alpaca, una recepta d'entrenament basada en el model LLaMA 7B que utilitza el mètode "Self-Instruct" d'ajustament d'instruccions per adquirir capacitats comparables a les el model text-davinci-003 de la sèrie OpenAI GPT-3.5 a un cost modest.[5]
Referències
[modifica]- ↑ Edwards, Benj. «Meta unveils a new large language model that can run on a single GPU [Updated]» (en anglès). https://arstechnica.com,+24-02-2023.+[Consulta: 2 abril 2023].
- ↑ «Meta has built a massive new language AI—and it’s giving it away for free» (en anglès). https://www.technologyreview.com.+[Consulta: 2 abril 2023].
- ↑ Edwards, Benj. «You can now run a GPT-3-level AI model on your laptop, phone, and Raspberry Pi» (en anglès). https://arstechnica.com,+13-03-2023.+[Consulta: 2 abril 2023].
- ↑ Vincent, James. «Meta’s powerful AI language model has leaked online — what happens now?» (en anglès). https://www.theverge.com,+08-03-2023.+[Consulta: 2 abril 2023].
- ↑ Taori, Rohan. «Alpaca: A Strong, Replicable Instruction-Following Model». Stanford Institute for Human-Centered Artificial Intelligence, 13-03-2023.