Plataforma de inferencia GPU autoalojada — MoE de 36B, voz IA y un farm de 70 GPUs

Presupuesté todo el stack contra un único techo de 25.7 GB de VRAM: el MoE de 36B cuantizado a IQ4_XS con caché KV en q4 y contexto de 64K, el ASR whisper-small y el modelo de embeddings anclados a la misma tarjeta, y el TTS al lado — todo medido en 25.3/25.7 GB con cada capa contabilizada. Cuando el farm empezó a fallar, traté el log como un rastro forense: los oops del kernel señalaron tormentas de reset de GPU, lo que llevó a descubrir que un VBIOS modificado ejecutaba la tarjeta a un estado de 3136 MHz que el silicio no podía sostener. Fijé el reloj en 2500 MHz, migré a ROCm 7.14, añadí snapshots de ZFS y reconstruí el stack para que un solo proceso sirva LLM, embeddings, ASR y TTS de forma concurrente. El farm creció a 10 nodos y 70 GPUs a ~10 kW con un delta térmico de +35 °C.

Una sola tarjeta de 24 GB sirve ahora un modelo MoE de 36B, embeddings, ASR y TTS a la vez — con hasta 2,426 tok/s de prefill y 87–125 tok/s de decode en un bucle de voz en 10 idiomas. El farm de 70 GPUs funciona estable 24/7 desde la corrección de firmware: la respuesta era un estado de reloj en el VBIOS, no el stack de software.