En este taller práctico exploramos cómo montar un servidor local para correr modelos de lenguaje sin depender de la nube. Analizamos la latencia y el consumo de RAM.
- Configuración de entornos Docker.
- Monitorización de temperatura de CPU.
- Pruebas de velocidad de respuesta (Tokens por segundo).
Deja una respuesta