Seminario sobre eficiencia. Aprendimos a comprimir modelos de IA para que funcionen en ordenadores antiguos o terminales integrados mediante técnicas de cuantización extrema.
- Uso de formatos de compresión GGUF y AWQ.
- Ahorro de energía y RAM en centros de datos locales.
- Comparativa de rendimiento: Despliegue local vs Despliegue en AWS.
Deja una respuesta