¿La misma IA… pero más barata?

Para muchos sigue siendo un misterio cómo es que China logró reducir el presupuesto estimado para construir una gran Inteligencia Artificial

deepseek_pexels_ — Los costos para construir una gran IA llegaban hasta los 100 millones de dólares, pero los Chinos tenían otros datos / Pexels / Bertelli Fotografia

The Conversation vía Reuters

Sistemas de inteligencia artificial de última generación como ChatGPT de OpenAI; Gemini, de Google y Claude, de Anthropic han capturado la imaginación del público al producir texto fluido en varios idiomas en respuesta a las indicaciones del usuario.

Esas empresas también han acaparado los titulares con las enormes sumas que han invertido para construir modelos cada vez más potentes.

Pero después de ello, una empresa emergente de China, DeepSeek, alteró las expectativas sobre cuánto dinero se necesita para construir las últimas y mejores IA. Y en el proceso, han puesto en duda los miles de millones de dólares de inversión de los grandes actores de la inteligencia artificial.

El debut disruptivo de DeepSeek no se debe a ningún avance tecnológico sorprendente, sino a una práctica consagrada por el tiempo: encontrar eficiencias. Y en un campo que consume vastos recursos informáticos, eso ha demostrado ser significativo.

Dónde están los costos

El desarrollo de sistemas de IA tan potentes comienza con la construcción de un gran modelo de lenguaje que predice la siguiente palabra dadas las palabras anteriores.

Por ejemplo, si el comienzo de una oración es “La teoría de la relatividad fue descubierta por Albert”, un modelo de lenguaje grande podría predecir que la siguiente palabra es “Einstein”.

Puedes leer: DeepSeek, la IA de bajo costo de China, provoca caída de mercados ante temores en EU

Los modelos de lenguaje grandes se entrenan para que sean buenos en tales predicciones en un proceso llamado preentrenamiento.

Esto requiere una gran cantidad de datos y potencia de procesamiento. Las empresas recopilan datos rastreando la web y escaneando libros. La computación generalmente se alimenta con unidades de procesamiento gráfico o GPU.

Los modelos de lenguaje grandes se entrenan para que sean buenos en tales predicciones en un proceso llamado preentrenamiento

¿Por qué gráficos? Resulta que tanto los gráficos de computadora como las redes neuronales artificiales que sustentan los modelos de lenguaje grandes se basan en la misma área de las matemáticas conocida como álgebra lineal. Los modelos de lenguaje grandes almacenan internamente cientos de miles de millones de números llamados parámetros o pesos. Son estos pesos los que se modifican durante el preentrenamiento.

Pero el preentrenamiento no es suficiente para producir un producto de consumo como ChatGPT. Un modelo de lenguaje grande preentrenado generalmente no es bueno para seguir instrucciones humanas.

Por lo tanto, el modelo preentrenado suele pasar por etapas adicionales de entrenamiento.

Tanto los gráficos de computadora como las redes neuronales artificiales que sustentan los modelos de lenguaje grandes se basan en la misma área de las matemáticas conocida como álgebra lineal

Es fácil ver cómo se acumulan los costos al construir un modelo de IA: contratar talento de IA de primera calidad, construir un centro de datos con miles de GPU, recopilar datos para el preentrenamiento y ejecutar el preentrenamiento en GPU. Además, hay costos involucrados en la recopilación y el cálculo de datos en las etapas de ajuste de instrucciones y aprendizaje de refuerzo a partir de la retroalimentación humana.

En total, los costos para construir un modelo de IA de vanguardia pueden dispararse hasta los 100 millones de dólares.

Reducción del consumo de recursos

Por lo tanto, parecía que el camino para construir los mejores modelos de IA del mundo era invertir en más computación durante el entrenamiento y la inferencia. Pero luego DeepSeek entró en la contienda y se opuso a esta tendencia.

Sus modelos de la serie V, que culminaron en el modelo V3, utilizaron una serie de optimizaciones para hacer que el entrenamiento de modelos de IA de vanguardia fuera significativamente más económico.

DeepSeek desploma Wall Street

Su informe técnico afirma que les llevó menos de 6 millones de dólares entrenar V3. Admiten que este costo no incluye los costos de contratar al equipo, realizar la investigación, probar varias ideas y recopilar datos. Pero 6 millones de dólares sigue siendo una cifra impresionantemente pequeña para entrenar un modelo que rivaliza con los modelos de IA líderes desarrollados con costos mucho más altos.

La reducción de costos no se debió a una única solución mágica, sino a una combinación de muchas decisiones de ingeniería inteligentes, que incluyeron el uso de menos bits para representar los pesos del modelo, la innovación en la arquitectura de la red neuronal y la reducción de la sobrecarga de comunicación a medida que los datos pasan de una GPU a otra.

Es interesante notar que debido a las restricciones de exportación de EE. UU. a China, el equipo de DeepSeek no tuvo acceso a GPU de alto rendimiento como la Nvidia H100. En su lugar, utilizaron GPU Nvidia H800, que Nvidia diseñó para que tuvieran un rendimiento inferior para cumplir con las restricciones de exportación del país.

DeepSeek también innovó para hacer que la inferencia fuera más barata, reduciendo el costo de ejecución del modelo y lanzaron un modelo llamado R1 que es comparable al modelo O1 de OpenAI en tareas de razonamiento.

➡️ Únete al canal de El Sol de México en WhatsApp para no perderte la información más importante

Publicaron todos los pesos de los modelos para V3 y R1. Cualquiera puede descargarlos y mejorarlos o personalizarlos. Además, DeepSeek publicó sus modelos bajo la licencia permisiva del MIT, que permite a otros utilizar los modelos para fines personales, académicos o comerciales con restricciones mínimas.

DeepSeek ha alterado el panorama de los grandes modelos de IA, y la comunidad de investigación y el mercado de valores necesitarán algo de tiempo para adaptarse a esa nueva realidad.

* Profesor de Estadística, Universidad de Michigan. Traducción de El Sol de México.

¿La misma IA… pero más barata?