Hispanopedia Wiki
Articulo de referencia

Llama (modelo de lenguaje)

{{start date and age|2025|4|5}} Llama 4 Scout / {{start date and age|2025|4|5}}"},"repo":{"wt":"{{URL|https://github.com/meta-llama/llama-models}}"},"genre":{"wt":"{{indented pl...

Hispanopedia WikiContenido en espanolLectura gratuita

Llama [ a ] ​​(" Large Language Model Meta AI " que funciona como acrónimo inverso ) es una familia de grandes modelos de lenguaje (LLM) lanzados por Meta AI a partir de febrero de 2023. [ 3 ]

Los modelos Llama vienen en diferentes tamaños, que van desde 1.000 millones hasta 2 billones de parámetros. Inicialmente solo un modelo base , [ 4 ] a partir de Llama 2, Meta AI lanzó versiones ajustadas con instrucciones junto con los modelos base. [ 5 ]

Los pesos del modelo para la primera versión de Llama solo estaban disponibles para los investigadores caso por caso, bajo una licencia no comercial. [ 6 ] Se compartieron copias no autorizadas del primer modelo a través de BitTorrent . [ 7 ] Las versiones posteriores de Llama se hicieron accesibles fuera del ámbito académico y se publicaron bajo licencias que permitían cierto uso comercial. [ 8 ]

Junto con el lanzamiento de Llama 3, Meta lanzó Meta AI, un asistente de IA basado en Llama. Meta AI tiene un sitio web dedicado y está disponible en Facebook y WhatsApp . [ 9 ] La última versión es Llama 4, lanzada en abril de 2025. [ 10 ]

En abril de 2026, Meta Superintelligence Labs lanzó Muse Spark como reemplazo de Llama. [ 11 ]

Fondo

Tras el lanzamiento de grandes modelos de lenguaje como GPT-3 , la investigación se centró en la ampliación de modelos, que en algunos casos mostraron importantes incrementos en las capacidades emergentes. [ 12 ] El lanzamiento de ChatGPT y su inesperado éxito provocaron un aumento de la atención hacia los grandes modelos de lenguaje. [ 13 ]

En comparación con otras respuestas a ChatGPT, el científico jefe de IA de Meta, Yann LeCun, afirmó que los modelos de lenguaje grandes son los mejores para ayudar con la escritura. [ 14 ] [ 15 ] [ 16 ]

Versiones

Versión inicial

La primera versión de Llama (estilizada como LLaMA y a veces denominada Llama 1) se anunció el 24 de febrero de 2023 mediante una entrada de blog y un documento que describían el entrenamiento , la arquitectura y el rendimiento del modelo . [ 17 ] [ 18 ] El código de inferencia utilizado para ejecutar el modelo se publicó públicamente bajo la licencia de código abierto GPLv3 . [ 19 ] El acceso a los pesos del modelo se gestionaba mediante un proceso de solicitud, y el acceso se otorgaba "caso por caso a investigadores académicos; aquellos afiliados a organizaciones gubernamentales, de la sociedad civil y académicas; y laboratorios de investigación de la industria en todo el mundo". [ 18 ]

Llama se entrenó únicamente con información disponible públicamente y con diferentes tamaños de modelo, con la intención de hacerlo más accesible a distintos tipos de hardware. El modelo era exclusivamente un modelo base , [ 4 ] aunque el artículo contenía ejemplos de versiones del modelo ajustadas con instrucciones. [ 17 ]

Meta AI informó que el rendimiento del modelo de 13 mil millones de parámetros en la mayoría de los puntos de referencia de PLN superó al del mucho más grande GPT-3 (con 175 mil millones de parámetros), y el modelo más grande de 65 mil millones fue competitivo con modelos de última generación como PaLM y Chinchilla . [ 20 ]

Filtración

El 3 de marzo de 2023, se subió un torrent que contenía los pesos de Llama, y ​​se compartió un enlace al torrent en el foro de imágenes 4chan , que posteriormente se difundió a través de comunidades de IA en línea. [ 21 ] Ese mismo día, se abrió una solicitud de extracción en el repositorio principal de Llama, solicitando agregar el enlace magnet a la documentación oficial. [ 22 ] [ 23 ] El 4 de marzo, se abrió una solicitud de extracción para agregar enlaces a los repositorios de HuggingFace que contenían el modelo. [ 24 ] [ 22 ] El 6 de marzo, Meta presentó solicitudes de eliminación para retirar los repositorios de HuggingFace vinculados en la solicitud de extracción, caracterizándolo como una "distribución no autorizada" del modelo. HuggingFace cumplió con las solicitudes. [ 25 ] El 20 de marzo, Meta presentó una solicitud de eliminación DMCA por infracción de derechos de autor contra un repositorio que contenía un script que descargaba Llama desde un espejo, y GitHub cumplió al día siguiente. [ 26 ]

Las reacciones a la filtración fueron variadas. Algunos especularon que el modelo se usaría con fines maliciosos, como el spam más sofisticado . Otros celebraron la accesibilidad del modelo, así como el hecho de que las versiones más pequeñas se pueden ejecutar a un costo relativamente bajo, lo que sugiere que esto promoverá el desarrollo de investigaciones adicionales. [ 21 ] Varios comentaristas, como Simon Willison , compararon Llama con Stable Diffusion , un modelo de conversión de texto a imagen que, a diferencia de modelos comparablemente sofisticados que lo precedieron, se distribuyó abiertamente, lo que llevó a una rápida proliferación de herramientas, técnicas y software asociados. [ 21 ] [ 27 ]

Llama 2

El 18 de julio de 2023, en colaboración con Microsoft , Meta anunció Llama 2 (estilizado como LLaMa 2), la próxima generación de Llama. Meta entrenó y lanzó Llama 2 en tres tamaños de modelo: 7, 13 y 70 mil millones de parámetros. [ 5 ] La arquitectura del modelo permanece prácticamente sin cambios con respecto a la de los modelos Llama 1, pero se utilizó un 40 % más de datos para entrenar los modelos fundamentales. [ 28 ]

Llama 2 incluye modelos básicos y modelos optimizados para chat. A diferencia de la versión original de Llama, todos los modelos se publican con pesos y pueden utilizarse para diversos fines comerciales. Debido a que la licencia de Llama impone una política de uso aceptable que prohíbe su uso para ciertos propósitos, no es de código abierto. El uso que hace Meta del término " código abierto" para describir Llama ha sido cuestionado por la Open Source Initiative (que mantiene la Definición de Código Abierto ) y otros. [ 29 ] [ 30 ]

Code Llama es un ajuste fino de Llama 2 con conjuntos de datos específicos para código. Las versiones 7B, 13B y 34B se lanzaron el 24 de agosto de 2023, y la versión 70B se lanzó el 29 de enero de 2024. [ 31 ] Partiendo de los modelos base de Llama 2, Meta AI entrenaría 500B tokens adicionales de conjuntos de datos de código, antes de 20B tokens adicionales de datos de contexto largo, creando los modelos base de Code Llama. Este modelo base se entrenó posteriormente con 5B tokens de instrucciones posteriores para crear el ajuste fino de instrucciones. Se creó otro modelo base para código Python, que se entrenó con 100B tokens de código solo Python, antes de los datos de contexto largo. [ 32 ]

Llama 3

El 18 de abril de 2024, Meta lanzó Llama 3 con dos tamaños: 8B y 70B parámetros. Los modelos se preentrenaron con aproximadamente 15 billones de tokens de texto recopilados de "fuentes disponibles públicamente", y los modelos de instrucción se ajustaron con "conjuntos de datos de instrucciones disponibles públicamente, así como con más de 10 millones de ejemplos anotados por humanos". Las pruebas de Meta AI mostraron en abril de 2024 que Llama 3 70B superaba a Gemini Pro 1.5 y Claude 3 Sonnet en la mayoría de las pruebas comparativas. Meta también anunció planes para hacer que Llama 3 fuera multilingüe y multimodal , mejorar su codificación y razonamiento, y aumentar su ventana de contexto. [ 33 ] [ 34 ]

En cuanto a las leyes de escalado , los modelos Llama 3 demostraron empíricamente que cuando un modelo se entrena con datos que superan la cantidad " óptima de Chinchilla ", el rendimiento sigue escalando de forma logarítmica lineal. Por ejemplo, el conjunto de datos óptimo de Chinchilla para Llama 3 8B es de 200 mil millones de tokens, pero el rendimiento siguió escalando de forma logarítmica lineal hasta el conjunto de datos 75 veces mayor de 15 billones de tokens. [ 35 ]

Durante una entrevista con Dwarkesh Patel, Mark Zuckerberg afirmó que la versión 8B de Llama 3 era casi tan potente como la versión más grande de Llama 2. En comparación con los modelos anteriores, Zuckerberg declaró que el equipo se sorprendió de que el modelo 70B siguiera aprendiendo incluso al final del entrenamiento con 15T tokens. Se decidió finalizar el entrenamiento para concentrar la potencia de la GPU en otras tareas. [ 36 ]

Llama 3.1 se lanzó el 23 de julio de 2024, con tres tamaños: parámetros de 8B, 70B y 405B. [ 37 ] [ 38 ]

Llama 4

Una imagen generada por IA de una esfera de neón brillante y una llama.
Ejemplo de una imagen generada por Meta AI Imagine, con tecnología de Llama 4. Mensaje:A representation of Meta AI and Llama

La serie Llama 4 se lanzó en 2025. La arquitectura se cambió a una mezcla de expertos donde solo una fracción de las subredes expertas del modelo se activan por cada token de entrada. Son multimodales (entrada de texto e imagen, salida de texto) y multilingües (12 idiomas). [ 39 ] Específicamente, el 5 de abril de 2025, se lanzaron las siguientes versiones, tanto base como optimizadas para instrucciones: [ 40 ]

  • Scout: modelo con 17 mil millones de parámetros activos, 16 expertos, ventana de contexto de 10 millones y un total de 109 mil millones de parámetros.
  • Maverick: modelo con 17 mil millones de parámetros activos, 128 expertos, ventana de contexto de 1M y un total de 400 mil millones de parámetros.

También se anunció el modelo Behemoth, pero no se lanzó. Meta afirmó que era un modelo con 288 mil millones de parámetros activos, 16 expertos y alrededor de 2 billones de parámetros en total; aún estaba en entrenamiento cuando se lanzaron Scout y Maverick. Maverick se obtuvo mediante la codeposición de Behemoth, mientras que Scout se entrenó desde cero.

Los datos de entrenamiento incluyeron datos disponibles públicamente, datos con licencia y datos propiedad de Meta, como publicaciones compartidas públicamente de Instagram y Facebook e interacciones de las personas con Meta AI. El límite de conocimiento fue agosto de 2024. [ 39 ]

Meta afirmó en su anuncio de lanzamiento que Llama 4 superó la puntuación de GPT-4o en el benchmark de IA de LMArena . [ 41 ] La compañía también declaró que la puntuación de referencia de Llama 4 se logró utilizando una "versión de chat experimental" no publicada del modelo que estaba "optimizada para la conversacionalidad", que difería de la versión de Llama 4 publicada para el público. [ 42 ] LMArena indicó que cambiaría sus políticas para evitar que este incidente se repitiera y respondió: "La interpretación de Meta de nuestra política no coincidía con lo que esperamos de los proveedores de modelos. Meta debería haber aclarado que 'Llama-4-Maverick-03-26-Experimental' era un modelo personalizado para optimizar la preferencia humana". [ 41 ] Algunos usuarios criticaron a Meta en las redes sociales por su uso de una versión separada del modelo adaptada para el benchmark, y algunos además acusaron a Meta de entrenar a Llama 4 en conjuntos de prueba para aumentar aún más sus puntuaciones de referencia, lo que Meta negó. [ 43 ]

Comparación de modelos

En la columna de costo de entrenamiento, por defecto solo se muestra el costo del modelo más grande. Por ejemplo, "21,000" es el costo de entrenamiento de Llama 2 69B en unidades de petaFLOPS-día. Además, 1 petaFLOPS-día = 1 petaFLOP/seg × 1 día = 8.64E19 FLOP. "T" significa "billón" y "B" significa "mil millones".

La siguiente tabla enumera las principales versiones del modelo Llama, describiendo los cambios significativos incluidos en cada versión: [ 44 ]

Arquitectura y formación

"Carta de recomendación para Magic Unicorn Corporation"

Aquí está la carta de recomendación que escribí para una solicitud de empleo como alimentadora de dragones en Magic Unicorn Corporation: Estimado/a reclutador/a, conozco a ___ desde hace dos años y creo que sería una excelente alimentadora de dragones para Magic Unicorn Corporation. ___ tiene la capacidad de recordar y procesar grandes cantidades de información, lo cual es una habilidad importante para alimentar dragones. ___, como caballero consumado, tiene un profundo conocimiento de cómo matar dragones y cómo usar las debilidades de cada uno en su contra. Esto significa que sabe qué tipo de alimentos le gustan a cada dragón y cuáles son peligrosos para cada uno. Este conocimiento y experiencia serán invaluables al alimentar a los dragones. Estoy seguro de que la competencia, habilidad y experiencia de ___ la convertirán en una excelente empleada. Por favor, contácteme al (___) ___-___ si tiene alguna pregunta. Espero tener noticias suyas. Atentamente, Honorable Caballero Sir George

— Salida del modelo Llama de 65 mil millones de parámetros antes del ajuste de instrucciones , dada la indicación (en negrita) [ 17 ]

Arquitectura

Al igual que GPT-3, la serie de modelos Llama son transformadores autorregresivos que solo utilizan decodificadores , pero existen algunas diferencias menores:

conjuntos de datos de entrenamiento

Los desarrolladores de Llama centraron sus esfuerzos en mejorar el rendimiento del modelo aumentando el volumen de datos de entrenamiento, en lugar del número de parámetros, argumentando que el coste dominante para los modelos lineales lógicos (MLL) proviene de realizar inferencias sobre el modelo entrenado, en lugar del coste computacional del proceso de entrenamiento.

Los modelos fundamentales de Llama 1 se entrenaron en un conjunto de datos con 1,4 billones de tokens, extraídos de fuentes de datos disponibles públicamente, que incluyen: [ 17 ]

En abril de 2023, Together AI lanzó un proyecto llamado RedPajama para reproducir y distribuir una versión de código abierto del conjunto de datos Llama, que inicialmente contenía aproximadamente 1,2 billones de tokens. [ 57 ]

Los modelos fundamentales de Llama 2 se entrenaron en un conjunto de datos con 2 billones de tokens. Este conjunto de datos se seleccionó para eliminar los sitios web que suelen divulgar datos personales de las personas. También se sobremuestrean las fuentes consideradas confiables. [ 28 ] Llama 2 - Chat se ajustó adicionalmente en 27 540 pares de preguntas y respuestas creados para este proyecto, que tuvieron un mejor rendimiento que conjuntos de datos de terceros más grandes pero de menor calidad. Para la alineación de la IA, se utilizó el aprendizaje por refuerzo con retroalimentación humana (RLHF) con una combinación de 1 418 091 ejemplos de Meta y siete conjuntos de datos más pequeños. La profundidad promedio del diálogo fue de 3,9 en los ejemplos de Meta, 3,0 para los conjuntos Anthropic Helpful y Anthropic Harmless, y 1,0 para otros cinco conjuntos, incluidos OpenAI Summarize, StackExchange, etc.

Llama 3 consta principalmente de datos en inglés, con más del 5 % en más de 30 idiomas adicionales. Su conjunto de datos fue filtrado por un clasificador de calidad de texto, y el clasificador fue entrenado con texto sintetizado por Llama 2. [ 35 ]

En una demanda contra Meta Platforms interpuesta por autores como Richard Kadrey , Sarah Silverman y Ta-Nehisi Coates , se alegó que el director ejecutivo Mark Zuckerberg autorizó el uso de contenido protegido por derechos de autor de Library Genesis para entrenar modelos de Llama AI y ocultar sus acciones eliminando los marcadores de derechos de autor de los datos. [ 58 ]

Sintonia FINA

Los modelos Llama 1 solo están disponibles como modelos fundamentales con aprendizaje autosupervisado y sin ajuste fino. Los modelos Llama 2 – Chat se derivaron de los modelos fundamentales Llama 2. A diferencia de GPT-4 , que aumentó la longitud del contexto durante el ajuste fino, Llama 2 y Code Llama - Chat mantienen la misma longitud de contexto de 4K tokens. El ajuste fino supervisado utilizó una función de pérdida autorregresiva con pérdida de tokens en las indicaciones del usuario establecida en cero. El tamaño del lote fue de 64.

Para la alineación de la IA , los anotadores humanos redactaron indicaciones y compararon dos resultados del modelo (un protocolo binario), proporcionando niveles de confianza y etiquetas de seguridad independientes con derecho a veto. Se entrenaron dos modelos de recompensa independientes a partir de estas preferencias de seguridad y utilidad mediante aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF). Una contribución técnica importante es el abandono del uso exclusivo de la optimización de políticas proximales (PPO) para RLHF: se empleó una nueva técnica basada en el muestreo por rechazo , seguida de PPO.

Se buscó mejorar la coherencia en los diálogos de múltiples turnos para asegurar que los "mensajes del sistema" (instrucciones iniciales, como "habla en francés" y "actúa como Napoleón") se respetaran durante el diálogo. Esto se logró utilizando la nueva técnica de "atención fantasma" durante el entrenamiento, que concatena las instrucciones relevantes a cada nuevo mensaje del usuario, pero anula la función de pérdida para los tokens en la solicitud (partes anteriores del diálogo).

Aplicaciones

El Centro de Investigación sobre Modelos Fundamentales (CRFM) del Instituto de Inteligencia Artificial Centrada en el Ser Humano (HAI) de la Universidad de Stanford publicó Alpaca, una receta de entrenamiento basada en el modelo Llama 7B que utiliza el método de ajuste de instrucciones "Auto-Instruct" para adquirir capacidades comparables al modelo text-davinci-003 de la serie GPT-3 de OpenAI a un costo moderado. [ 59 ] [ 60 ] [ 61 ] Los archivos del modelo fueron eliminados oficialmente el 21 de marzo de 2023, debido a los costos de alojamiento y las preocupaciones de seguridad, aunque el código y el artículo permanecen en línea como referencia. [ 62 ] [ 63 ] [ 64 ]

Meditron es una familia de algoritmos basados ​​en Llama, optimizados a partir de un corpus de guías clínicas, artículos de PubMed y otros documentos. Fue creada por investigadores de la Escuela de Ciencias de la Computación y la Comunicación de la École Polytechnique Fédérale de Lausanne y la Facultad de Medicina de Yale . Demuestra un rendimiento superior en pruebas comparativas médicas como MedQA y MedMCQA. [ 65 ] [ 66 ] [ 67 ]

Zoom utilizó Meta Llama 2 para crear un Asistente de IA que puede resumir reuniones, proporcionar consejos útiles para presentaciones y ayudar con las respuestas a los mensajes. Este Asistente de IA funciona con múltiples modelos, incluido Meta Llama 2. [ 68 ]

Reuters informó en 2024 que muchas modelos de fundaciones chinas se basaron en modelos de llamas para su entrenamiento. [ 69 ]

Muchas aplicaciones utilizan la API pública de Llama para integrar funciones en sus aplicaciones para el uso diario. [ 70 ]

llama.cpp

El desarrollador de software Georgi Gerganov publicó llama.cpp como código abierto el 10 de marzo de 2023. Se trata de una reimplementación de Llama en C++ , que permite a los sistemas sin una GPU potente ejecutar el modelo localmente. [ 71 ] El proyecto llama.cpp introdujo el formato de archivo GGUF, un formato binario que almacena tanto tensores como metadatos. [ 72 ] El formato se centra en admitir diferentes tipos de cuantización, lo que puede reducir el uso de memoria y aumentar la velocidad a costa de una menor precisión del modelo. [ 73 ]

Llamafile, creado por Justine Tunney, es una herramienta de código abierto que agrupa llama.cpp con el modelo en un único archivo ejecutable. Tunney et al. introdujeron nuevos núcleos de multiplicación de matrices optimizados para CPU x86 y ARM, mejorando el rendimiento de evaluación instantánea para tipos de datos cuantizados de FP16 y 8 bits. [ 74 ]

Espacio

Booz Allen Hamilton desplegó el modelo Llama 3.2 de Meta a bordo de los Laboratorios Nacionales de la Estación Espacial Internacional (ISS) como parte de un proyecto llamado Space Llama. El sistema se ejecuta en el Spaceborne Computer-2 de Hewlett Packard Enterprise y aprovecha la plataforma A2E2 (AI for Edge Environments) de Booz Allen, utilizando computación acelerada por NVIDIA CUDA. Space Llama demuestra cómo los modelos de lenguaje de gran tamaño pueden operar en entornos desconectados y con recursos limitados, como el espacio, lo que permite a los astronautas recuperar y resumir documentos mediante consultas en lenguaje natural, incluso sin conexión a internet. [ 75 ] [ 76 ]

Militar

En 2024, se informó que investigadores de la Academia de Ciencias Militares del Ejército Popular de Liberación (la principal academia militar de China ) habían desarrollado una herramienta militar utilizando Llama, lo cual Meta Platforms declaró que no estaba autorizado debido a que la licencia de Llama prohibía el uso del modelo con fines militares. [ 77 ] [ 78 ] Meta otorgó al gobierno de EE. UU. y a los contratistas militares estadounidenses permiso para usar Llama en noviembre de 2024, pero continuó prohibiendo el uso militar por parte de entidades no estadounidenses. [ 30 ] [ 79 ]

Licencias

La primera versión de Llama se publicó bajo una licencia no comercial para algunos investigadores y entidades caso por caso. [ 6 ] [ 18 ]

Desde el lanzamiento de Llama 2, Meta ha presentado Llama como de código abierto , una descripción a la que se oponen la Open Source Initiative (OSI) y algunos académicos y periodistas. La OSI declaró que las licencias de Llama no cumplen con varias disposiciones de su documento de política The Open Source Definition (OSD), que prohíbe que las licencias de software de código abierto discriminen contra "personas o grupos" y "campos de actividad", y acusó a Meta de " openwashing " de Llama. Según la OSI, la licencia de Llama 2 impedía que el software se utilizara comercialmente en algunos casos y restringía su uso en campos que incluían sustancias controladas e infraestructura crítica , mientras que versiones posteriores de la licencia de Llama también prohibían su uso por parte de cualquier individuo en la Unión Europea . [ 80 ] [ 81 ] [ 82 ] La OSI publicó The Open Source AI Definition (OSAID) en octubre de 2024, que exige que la IA de código abierto se publique con detalles sobre sus datos de entrenamiento que Meta no divulga para Llama. [ 83 ] Un portavoz de Meta respondió a The Verge que la compañía no está de acuerdo con esta definición. [ 84 ] La Free Software Foundation clasificó la licencia de Llama 3.1 como una licencia de software no libre en enero de 2025, criticando su política de uso aceptable , las restricciones contra usuarios con aplicaciones populares y la aplicación de regulaciones comerciales fuera de la jurisdicción del usuario. [ 85 ] [ 86 ]

En su cobertura de Llama 2, Ars Technica inicialmente se hizo eco del uso del término código abierto por parte de Meta , pero luego revisó su informe para describir a Llama como " código fuente disponible ", "con licencia abierta" y "pesos disponibles" después de que la publicación reconociera que la licencia de Llama 2 no permitía que entidades con más de 700 millones de usuarios activos diarios utilizaran el LLM y no permitía que los resultados del LLM se utilizaran para mejorar otros LLM. [ 29 ] En julio de 2023, investigadores de la Universidad de Radboud calificaron a Llama 2 con la segunda clasificación más baja de "apertura" en una comparación de 20 LLM, con ChatGPT recibiendo la clasificación más baja. Uno de los investigadores, Mark Dingemanse , criticó el uso del término código abierto por parte de Meta para Llama 2 como "positivamente engañoso", porque "no hay código fuente a la vista, los datos de entrenamiento no están documentados en absoluto y, más allá de los gráficos brillantes, la documentación técnica es realmente bastante deficiente". [ 87 ] CIO , en noviembre de 2024, declaró que Llama no era de código abierto debido a su política de uso aceptable, un documento de 630 palabras que "lo pone en desacuerdo con el movimiento de código abierto en general ". [ 30 ] Más tarde ese mes, un artículo de Nature afirmó que describir Llama 3 como "abierto" es un caso de "'openwashing'" de sistemas que se entienden mejor como cerrados, ya que Llama 3 proporciona "poco más que una API o la capacidad de descargar un modelo sujeto a restricciones de uso claramente no abiertas". [ 88 ]

Recepción

Wired describe la versión de Llama 3 con 8B parámetros como "sorprendentemente capaz" dado su tamaño. [ 89 ]

La respuesta a la integración de Llama por parte de Meta en Facebook fue mixta, y algunos usuarios se mostraron confundidos después de que Meta AI le dijera a un grupo de padres que tenía un hijo. [ 90 ]

La publicación de los modelos Llama ha suscitado importantes debates sobre los beneficios y los riesgos de uso indebido de los modelos de peso abierto. Dichos modelos pueden ajustarse para eliminar las medidas de seguridad, especialmente por parte de ciberdelincuentes, hasta que cumplan con las exigencias perjudiciales. Algunos expertos sostienen que los modelos futuros podrían facilitar la causación de daños más que su protección, por ejemplo, al permitir la creación relativamente sencilla de armas biológicas avanzadas sin conocimientos especializados. Por otro lado, los modelos de peso abierto pueden ser útiles para una amplia variedad de propósitos, incluida la investigación en seguridad. [ 91 ]

El director de la Open Source Initiative, Stefano Maffulli, criticó a Meta por describir Llama como de código abierto , afirmando que estaba causando confusión entre los usuarios y "contaminando" el término. [ 92 ]

Véase también

Notas

  1. ↑ Anteriormente estilizado como LLaMA o LLaMa

Referencias

  1. ↑ "Acuerdo de licencia de la comunidad de Llama 4" . 5 de abril de 2025. Recuperado el 15 de julio de 2025 a través de GitHub ."Materiales de Llama" significa, en conjunto, el software Llama 4 y la documentación propiedad de Meta (y cualquier parte de los mismos) que se ponen a disposición en virtud del presente Acuerdo.
  2. 1 2 "Política de uso aceptable de Llama 4" . Meta Llama . Consultado el 15 de julio de 2025 .
  3. ↑ Leswing, Kif (24 de febrero de 2023). "Mark Zuckerberg anuncia el nuevo modelo de lenguaje a gran escala de Meta mientras se intensifica la carrera por la IA" . CNBC . Recuperado el 10 de abril de 2025 .
  4. 1 2 Peters, Jay; Vincent, James (24 de febrero de 2023). "Meta tiene un nuevo modelo de lenguaje de aprendizaje automático para recordarte que también hace IA" . The Verge .
  5. 1 2 "Meta y Microsoft presentan la próxima generación de LLaMA" . Meta . 18 de julio de 2023. Archivado del original el 14 de septiembre de 2023. Recuperado el 21 de julio de 2023 .
  6. 1 2 Malik, Yuvraj; Paul, Katie (25 de febrero de 2023). "Meta intensifica la carrera armamentística de IA de las grandes tecnológicas con un nuevo modelo de lenguaje" . Reuters . Recuperado el 6 de agosto de 2025 .
  7. ↑ Hern, Alex (7 de marzo de 2023). "TechScape: ¿La filtración masiva de Meta democratizará la IA, y a qué precio?" . The Guardian . ISSN 0261-3077 . Consultado el 10 de abril de 2025 . 
  8. ↑ David, Emilia (30 de octubre de 2023). "El jefe de investigación de IA de Meta quiere que cambien las licencias de código abierto" . The Verge . Archivado del original el 14 de septiembre de 2024. Recuperado el 20 de octubre de 2024 .
  9. ↑ Heath, Alex (18 de abril de 2024). "La batalla de Meta con ChatGPT comienza ahora" . The Verge . Consultado el 10 de abril de 2025 .
  10. ↑ Franzen, Carl (2025-04-08). "Meta defiende el lanzamiento de Llama 4 contra 'informes de calidad mixta' y culpa a los errores" . VentureBeat . Recuperado el 2025-04-10 .
  11. ↑ «Meta presenta un nuevo modelo de IA en la primera prueba de su costoso equipo de "superinteligencia"» . The Guardian . 9 de abril de 2026. ISSN 0261-3077 . Consultado el 11 de abril de 2026 . 
  12. ↑ "Análisis de las habilidades emergentes en modelos de lenguaje a gran escala" . hai.stanford.edu . 13 de septiembre de 2022.
  13. ↑ "La historia interna de cómo se construyó ChatGPT contada por las personas que lo crearon" . MIT Technology Review . Archivado del original el 3 de marzo de 2023. Consultado el 20 de octubre de 2024 .
  14. ↑ Ray, Tiernan (23 de enero de 2023). "ChatGPT 'no es particularmente innovador' ni 'nada revolucionario', afirma el científico jefe de IA de Meta" . ZDNET . Archivado del original el 17 de febrero de 2023.
  15. ↑ Badminton, Nik (13 de febrero de 2023). "Yann LeCun de Meta sobre los modelos de lenguaje grandes autorregresivos (LLM)" . Futurist.com . Archivado del original el 22 de julio de 2024. Recuperado el 20 de octubre de 2024 .
  16. ↑ "Yann LeCun en LinkedIn: Mi opinión inquebrantable sobre los LLM (autorregresivos) actuales" . LinkedIn . Archivado del original el 17 de septiembre de 2024. Consultado el 20 de octubre de 2024 .
  17. 1 2 3 4 Touvron, Hugo; Lavril, Thibaut; Izacard, Gautier; Martinet, Javier; Lachaux, Marie-Anne; Lacroix, Timothée; Rozière, Baptiste; Goyal, Naman; Hambro, Eric; Azhar, Faisal; Rodríguez, Aurelien; Joulin, Armand; Tumba, Eduardo; Lampe, Guillaume (2023). "LLaMA: Modelos de lenguaje básico abiertos y eficientes". arXiv : 2302.13971 [ cs.CL ].
  18. 1 2 3 "Presentamos LLaMA: un modelo de lenguaje fundamental de 65 mil millones de parámetros" . Meta AI . 24 de febrero de 2023. Archivado del original el 3 de marzo de 2023. Recuperado el 16 de marzo de 2023 .
  19. ↑ "llama" . GitHub . Archivado del original el 15 de marzo de 2023. Consultado el 16 de marzo de 2023 .
  20. ↑ Bastian, Matthias (25 de febrero de 2023). "El modelo de lenguaje Metas "LLaMA" muestra que los parámetros no lo son todo" . The Decoder . Recuperado el 21 de junio de 2025 .
  21. 1 2 3 Vincent, James (8 de marzo de 2023). "El potente modelo de lenguaje de IA de Meta se ha filtrado en línea: ¿qué sucede ahora?" . The Verge . Archivado del original el 3 de noviembre de 2023. Recuperado el 16 de marzo de 2023 .
  22. 1 2 VK, Anirudh (6 de marzo de 2023). "Se filtra LLaMA de Meta al público, gracias a 4chan" . Analytics India Magazine . Archivado del original el 26 de marzo de 2023. Recuperado el 17 de marzo de 2023 .
  23. ↑ "Ahorra ancho de banda usando un torrent para distribuir de forma más eficiente por ChristopherKing42 · Solicitud de extracción n.° 73 · facebookresearch/llama" . GitHub . Archivado del original el 10 de abril de 2023. Consultado el 25 de marzo de 2023 .
  24. ↑ "Descargar pesos de Hugging Face para ayudarnos a ahorrar ancho de banda por Jainam213 · Solicitud de extracción n.° 109 · facebookresearch/llama" . GitHub . Archivado del original el 21 de marzo de 2023. Recuperado el 17 de marzo de 2023 .
  25. ↑ Cox, Joseph (7 de marzo de 2023). "Se filtra en línea el potente modelo de lenguaje a gran escala de Facebook" . Vice . Archivado del original el 6 de abril de 2023. Recuperado el 17 de marzo de 2023 .
  26. ↑ OpSec Online LLC (21 de marzo de 2023). "github/dmca - Notificación de presunta infracción por correo electrónico" . GitHub. Archivado del original el 10 de abril de 2023. Recuperado el 25 de marzo de 2023 .
  27. ↑ Willison, Simon (11 de marzo de 2023). "Los grandes modelos de lenguaje están viviendo su momento de difusión estable" . Blog de Simon Willison . Archivado del original el 16 de marzo de 2023. Recuperado el 16 de marzo de 2023 .
  28. 1 2 Touvron, Hugo; Martin, Louis; et al. (18 jul 2023). "LLaMA-2: Open Foundation and Fine-Tuned Chat Models". arXiv : 2307.09288 [ cs.CL ]. 
  29. 1 2 Edwards, Benj (18 de julio de 2023). "Meta lanza LLaMA-2, un modelo de IA de código abierto que permite aplicaciones comerciales" . Ars Technica . Archivado del original el 7 de noviembre de 2023. Recuperado el 8 de agosto de 2023 .
  30. 1 2 3 Thomas, Prasanth Aby (5 de noviembre de 2024). "Meta ofrece Llama AI al gobierno de EE. UU. para la seguridad nacional" . CIO . Recuperado el 9 de diciembre de 2024 .
  31. ↑ "Presentamos Code Llama, un modelo de lenguaje grande de última generación para la codificación" . ai.meta.com . Archivado del original el 27 de septiembre de 2024. Consultado el 20 de octubre de 2024 .
  32. ↑ Rozière, Baptiste; Gehring, Jonas; Gloeckle, Fabian; Sootla, Sten; Gat, Itai; Tan, Xiaoqing Ellen; Adi, Yossi; Liu, Jingyu; Sauvestre, Romain (2024-01-31). "Code Llama: Open Foundation Models for Code". arXiv : 2308.12950 [ cs.CL ].
  33. ↑ Wiggers, Kyle (18 de abril de 2024). "Meta lanza Llama 3 y afirma que es uno de los mejores modelos abiertos disponibles" . TechCrunch . Archivado del original el 18 de septiembre de 2024. Consultado el 20 de octubre de 2024 .
  34. ↑ Mann, Tobias (19 de abril de 2024). "Meta presenta el modelo de lenguaje Llama de tercera generación" . The Register . Archivado del original el 25 de agosto de 2024. Consultado el 20 de octubre de 2024 .
  35. 1 2 "Presentamos Meta Llama 3: El LLM de acceso abierto más capaz hasta la fecha" . ai.meta.com . 18 de abril de 2024. Archivado del original el 15 de mayo de 2024. Recuperado el 21 de abril de 2024 .
  36. ↑ Patel, Dwarkesh (24-07-2024). "Mark Zuckerberg - Llama 3, Open Sourcing $10b Models, & Caesar Augustus" . www.dwarkeshpatel.com . Archivado del original el 16-07-2024 . Recuperado el 01-08-2024 . Los 8 mil millones son casi tan potentes como la versión más grande de Llama 2 que lanzamos [...] incluso al final, seguía aprendiendo, ¿verdad? Es como si probablemente pudiéramos haberle dado más tokens y hubiera mejorado un poco, pero quiero decir, en algún momento sabes que estás dirigiendo una empresa y necesitas hacer estas preguntas de meta razonamiento de [...] ¿cómo quiero gastar nuestras GPU?
  37. ↑ "Llama 3.1 de Meta es de código abierto, en cierto modo. Así es como podría transformar la carrera de la IA" . Fast Company . 23 de julio de 2024.
  38. ^ Dubey , Abhimanyu; Jauhri, Abhinav; Pandey, Abhinav; Kadián, Abhishek; Al-Dahle, Ahmad; Letman, Aiesha; Mathur, Akhil; Schelten, Alan; Yang, Amy (31 de julio de 2024), La manada de modelos Llama 3 , arXiv : 2407.21783
  39. 1 2 3 "meta-llama/Llama-4-Maverick-17B-128E · Hugging Face" . huggingface.co . 2025-04-05 . Consultado el 2025-04-06 .
  40. ↑ "El rebaño de Llama 4: El comienzo de una nueva era de innovación en IA multimodal nativa" . ai.meta.com . Archivado del original el 5 de abril de 2025. Consultado el 5 de abril de 2025 .
  41. 1 2 Robison, Kylie (8 de abril de 2025). "Meta fue sorprendida manipulando los benchmarks de IA" . The Verge . Recuperado el 8 de abril de 2025 .
  42. ↑ Wiggers, Kyle (6 de abril de 2025). "Los puntos de referencia de Meta para sus nuevos modelos de IA son un poco engañosos" . TechCrunch . Recuperado el 8 de abril de 2025 .
  43. ↑ Franzen, Carl (8 de abril de 2025). "Meta defiende el lanzamiento de Llama 4 frente a 'informes de calidad mixta' y culpa a los errores" . VentureBeat . Recuperado el 8 de abril de 2025 .
  44. ↑ "Llama Models" . www.llama.com . Archivado del original el 9 de abril de 2025. Consultado el 20 de abril de 2025 .
  45. ↑ "El Halcón ha aterrizado en el ecosistema de Hugging Face" . huggingface.co . Archivado del original el 20 de junio de 2023. Consultado el 20 de junio de 2023 .
  46. ↑ "llama/MODEL_CARD.md en main · meta-llama/llama" . GitHub . Archivado del original el 28 de mayo de 2024. Consultado el 28 de mayo de 2024 .
  47. ↑ "Andrej Karpathy (18 de abril de 2024), La tarjeta del modelo también tiene información más interesante " . X (anteriormente Twitter) . Archivado del original el 17 de agosto de 2024. Recuperado el 20 de octubre de 2024 .
  48. ↑ "llama3/MODEL_CARD.md en main · meta-llama/llama3" . GitHub . Archivado del original el 21 de mayo de 2024. Consultado el 28 de mayo de 2024 .
  49. ↑ "llama-models/models/llama3_1/MODEL_CARD.md en main · meta-llama/llama-models" . GitHub . Archivado del original el 23 de julio de 2024. Consultado el 23 de julio de 2024 .
  50. ↑ Robison, Kylie (25 de septiembre de 2024). "Meta lanza su primer modelo de IA de código abierto que puede procesar imágenes" . The Verge . Consultado el 25 de septiembre de 2024 .
  51. ↑ Wiggers, Kyle (25 de septiembre de 2024). "Los modelos de IA Llama de Meta se vuelven multimodales" . TechCrunch . Archivado del original el 25 de septiembre de 2024. Recuperado el 25 de septiembre de 2024 .
  52. ↑ "Llama 3.2: Revolucionando la IA y la visión en el borde con modelos abiertos y personalizables" . ai.meta.com . Archivado del original el 25/09/2024 . Consultado el 26/09/2024 .
  53. ↑ Shazeer, Noam (2020-02-01). "Las variantes de GLU mejoran Transformer". arXiv : 2002.05202 [ cs.CL ].
  54. ^ Su, Jianlin; Lu, Yu; Pan, Shengfeng; Murtadha, Ahmed; Wen, Bo; Liu, Yunfeng (1 de abril de 2021). "RoFormer: transformador mejorado con incrustación de posición giratoria". arXiv : 2104.09864 [ cs.CL ].
  55. ↑ Lei Ba, Jimmy; Kiros, Jamie Ryan; Hinton, Geoffrey E. (2016-07-01). "Layer Normalization". arXiv : 1607.06450 [ stat.ML ].
  56. ↑ Zhang, Biao; Sennrich, Rico (2019-10-01). "Normalización de capas de raíz cuadrática media". arXiv : 1910.07467 [ cs.LG ].
  57. ↑ Goldman, Sharon (18 de abril de 2023). "RedPajama replica el conjunto de datos LLaMA para construir modelos LLM de código abierto y de última generación" . VentureBeat . Consultado el 21 de junio de 2025 .
  58. ↑ Wiggers, Kyle (9 de enero de 2025). "Mark Zuckerberg dio luz verde al equipo de Llama de Meta para entrenar con obras protegidas por derechos de autor y presentó reclamaciones" . Techcrunch . Consultado el 12 de enero de 2025 .
  59. ↑ Taori, Rohan; Gulrajani, Ishaan; Zhang, Tianyi; Dubois, Yann; Li, Xuechen; Guestrin, Carlos; Liang, Percy ; Hashimoto, Tatsunori B. (13 de marzo de 2023). "Alpaca: un modelo sólido y replicable de seguimiento de instrucciones" . Centro de Investigación de Modelos Fundamentales de Stanford. Archivado del original el 6 de abril de 2023.
  60. ↑ Wang, Yizhong; Kordi, Yeganeh; Mishra, Swaroop; Liu, Alisa; Smith, Noah A.; Khashabi, Daniel; Hajishirzi, Hannaneh (2022). "Auto-Instrucción: Alineación de modelos de lenguaje con instrucciones autogeneradas". arXiv : 2212.10560 [ cs.CL ].
  61. ↑ "Stanford CRFM" . crfm.stanford.edu . Archivado del original el 6 de abril de 2023. Consultado el 20 de marzo de 2023 .
  62. ↑ Quach, Katyanna. "Stanford retira del mercado un costoso y arriesgado modelo de IA de alpacas" . www.theregister.com .
  63. ↑ "Investigadores de Stanford desmantelan la IA de alpacas por su coste y las alucinaciones que provoca" . Gizmodo . 21 de marzo de 2023. Archivado del original el 12 de mayo de 2024. Consultado el 20 de octubre de 2024 .
  64. ↑ "alpaca-lora" . GitHub . Archivado del original el 4 de abril de 2023. Consultado el 5 de abril de 2023 .
  65. ↑ "Meditron: Un conjunto de herramientas LLM para entornos médicos con recursos limitados que aprovecha Meta Llama" . ai.meta.com .
  66. ↑ Petersen, Tanya (28 de noviembre de 2023). "El nuevo modelo de lenguaje a gran escala de la EPFL para el conocimiento médico" . Archivado del original el 17 de septiembre de 2024. Recuperado el 20 de octubre de 2024 .
  67. ↑ "epfLLM/meditron" . epfLLM. 11 de mayo de 2024. Archivado del original el 27 de septiembre de 2024. Consultado el 20 de octubre de 2024 .
  68. ↑ "Cómo las empresas utilizan Meta Llama" . Meta . 7 de mayo de 2024. Archivado del original el 27 de septiembre de 2024. Consultado el 20 de octubre de 2024 .
  69. ↑ "¿Qué tan dependiente es China de la tecnología de inteligencia artificial estadounidense?" . Reuters . 9 de mayo de 2024.
  70. ↑ Meta Developers (19/05/2025). Presentamos Llama API: una forma sencilla de revolucionar tu flujo de trabajo . Recuperado el 24/07/2026 a través de YouTube.
  71. ↑ Edwards, Benj (13 de marzo de 2023). "Ahora puedes ejecutar un modelo de IA de nivel GPT-3 en tu portátil, teléfono y Raspberry Pi" . Ars Technica . Archivado del original el 9 de enero de 2024. Consultado el 4 de enero de 2024 .
  72. ↑ "GGUF" . huggingface.co . Consultado el 9 de mayo de 2024 .
  73. ↑ Labonne, Maxime (29 de noviembre de 2023). "Cuantificar modelos Llama con GGUF y llama.cpp" . Medium . Towards Data Science. Archivado del original el 9 de mayo de 2024. Recuperado el 9 de mayo de 2024 .
  74. ↑ Connatser, Matthew. "El proyecto de controlador Llamafile LLM mejora el rendimiento en los núcleos de la CPU" . www.theregister.com . Archivado del original el 10 de mayo de 2024. Consultado el 10 de mayo de 2024 .
  75. ↑ "Grandes modelos de lenguaje en el espacio y más allá" . Booz Allen Hamilton . 18 de abril de 2025. Archivado del original el 19 de abril de 2025. Consultado el 7 de agosto de 2025 .
  76. ↑ Field, Hayden (25 de abril de 2025). "Meta y Booz Allen se asocian en el programa de IA 'Space Llama' con Nvidia y HPE" . CNBC . Consultado el 10 de agosto de 2025 .
  77. ↑ Cheung, Sunny (31 de octubre de 2024). "La República Popular China adapta la Llama de Meta para aplicaciones de IA militares y de seguridad" . Fundación Jamestown . Recuperado el 3 de noviembre de 2024 .
  78. ↑ Pomfret, James; Pang, Jessie (1 de noviembre de 2024). "Investigadores chinos desarrollan un modelo de IA para uso militar basado en la llama de Meta" . Reuters . Consultado el 1 de noviembre de 2024 .
  79. ↑ Smith, Matthew S. (17 de noviembre de 2024). "Meta abre su modelo de IA para el ejército estadounidense" . IEEE Spectrum . Recuperado el 9 de diciembre de 2024 .
  80. ↑ Maffulli, Stefano (20 de julio de 2023). "La licencia LLaMa de Meta no es de código abierto" . Open Source Initiative . Consultado el 10 de julio de 2025 .
  81. ↑ Maris, Jordan (18 de febrero de 2025). "La licencia LLaMa de Meta aún no es de código abierto" . Open Source Initiative . Consultado el 10 de julio de 2025 .
  82. ↑ Chan, Rosalie; Hays, Kali (19 de julio de 2023). "El nuevo modelo de IA 'de código abierto' Llama 2 de Meta no es tan abierto después de todo" . Business Insider . Consultado el 10 de julio de 2025 .
  83. ↑ Davies, Pascale (28 de octubre de 2024). "Por qué la IA de 'código abierto' de Meta no es lo que parece" . Euronews . Consultado el 10 de julio de 2025 .
  84. ↑ Robison, Kylie (28 de octubre de 2024). "La IA de código abierto debe revelar sus datos de entrenamiento, según la nueva definición de la OSI" . The Verge . Consultado el 10 de julio de 2025 .
  85. ↑ Siewicz, Krzysztof (24 de enero de 2025). "La licencia comunitaria de Llama 3.1 no es una licencia de software libre" . Free Software Foundation . Consultado el 10 de julio de 2025 .
  86. ↑ "Varias licencias y comentarios sobre ellas" . Free Software Foundation . sec. "Acuerdo de licencia comunitaria de Llama 3.1 y política de uso aceptable de Llama 3.1" . Consultado el 10 de julio de 2025 .
  87. ↑ Nolan, Michael (27 de julio de 2023). "Llama y ChatGPT no son de código abierto" . IEEE Spectrum . Consultado el 10 de julio de 2025 .
  88. ↑ Widder, David Gray; Whittaker, Meredith ; West, Sarah Myers (27 de noviembre de 2024). "Por qué los sistemas de IA 'abiertos' son en realidad cerrados y por qué esto importa" . Nature . 635 (8040): 827–833 . Bibcode : 2024Natur.635..827W . doi : 10.1038/s41586-024-08141-1 . PMID 39604616 . 
  89. ↑ Knight, Will. "El Llama 3 de código abierto de Meta ya le pisa los talones a OpenAI" . Wired . Archivado del original el 27 de septiembre de 2024. Consultado el 20 de octubre de 2024 .
  90. ↑ "Los agentes de IA potenciados de Meta confunden a los usuarios de Facebook" . ABC News . 19 de abril de 2024. Archivado del original el 17 de septiembre de 2024. Consultado el 20 de octubre de 2024 .
  91. ↑ Knight, Will. "El nuevo modelo de IA Llama 3.1 de Meta es gratuito, potente y arriesgado" . Wired . ISSN 1059-1028 . Archivado del original el 3 de agosto de 2024. Consultado el 4 de agosto de 2024 . 
  92. ↑ Waters, Richard (17 de octubre de 2024). "Meta bajo fuego por 'contaminar' el código abierto" . Financial Times .
  • Sitio web oficialEdita esto en Wikidata
  • Organización oficial Hugging Face para los modelos Llama, Llama Guard y Prompt Guard.