¿La primera limitación de hardware que todos enfrentan? RAM.

Vamos a desglosar las especificaciones para diferentes tamaños de modelos. Ejecutar un modelo de 7B a 13B parámetros generalmente requiere de 16 a 32GB de RAM. Subiendo a 20B parámetros, estás hablando de aproximadamente 48 a 64GB. Para los pesos pesados como los modelos de 120B, prepárate para 120GB o más.

Aquí está la cosa—invertimos $15k en la configuración de hardware y ahora podemos desplegar prácticamente cualquier modelo. Esa es una capacidad real. ¿La parte alentadora? Estos costos deberían disminuir a medida que el mercado madure y el hardware sea más accesible. Más personas podrán ejecutar modelos serios localmente sin arruinarse.