Servidor para correr un LLM en tu empresa (on-premise)
Cada vez más empresas quieren su propio modelo de lenguaje (LLM) corriendo en sus servidores: para que los documentos internos no salgan a una nube externa, para cumplir políticas de datos o para controlar el costo cuando el uso crece.
El dato que decide qué servidor necesitas es la memoria de GPU. Esta guía explica cómo estimarla con una cuenta sencilla y qué servidores del catálogo corresponden.
Actualizado el
Por qué un LLM on-premise
- Privacidad: contratos, historias clínicas o datos de clientes se procesan sin salir de tu infraestructura.
- Cumplimiento: en Colombia, la Ley 1581 de 2012 exige proteger los datos personales; tenerlos en casa simplifica el control de quién accede.
- Costo previsible: el servidor es una inversión fija, en lugar de un cobro que crece con cada consulta.
- Personalización: puedes afinar modelos abiertos con tus propios datos.
La cuenta: parámetros × bytes
Un modelo se describe por su número de parámetros: 8B son 8.000 millones, 70B son 70.000 millones. Cada parámetro ocupa memoria según la precisión con que se carga: 2 bytes en FP16 o BF16, 1 byte en 8 bits y medio byte en 4 bits (cuantizado).
| Tamaño del modelo | FP16 / BF16 | 8 bits | 4 bits |
|---|---|---|---|
| 8B | 16 GB | 8 GB | 4 GB |
| 70B | 140 GB | 70 GB | 35 GB |
| 405B | 810 GB | 405 GB | 203 GB |
Esos valores son solo los pesos. Hay que sumar memoria para el contexto de cada conversación (la caché KV), que crece con la longitud de los textos y con el número de usuarios simultáneos. Por eso conviene dejar un margen amplio sobre la cifra de la tabla.
Cuánta memoria de GPU tiene cada servidor
La memoria total es la suma de la de cada GPU. Por ejemplo, la NVIDIA H100 SXM tiene 80 GB, así que 8 GPU suman 640 GB, y la H200 tiene 141 GB, así que 8 suman 1.128 GB. La memoria exacta depende de la GPU que elijas al configurar el servidor.
- Modelos pequeños (hasta unos 8B) o cuantizados: caben en una o dos GPU. Un servidor de 2U como el ThinkSystem SR650 V3 o el ThinkSystem SR665 V3, con hasta 3 GPU de doble ancho, es un buen punto de partida.
- Modelos medianos (alrededor de 70B): necesitan varias GPU con mucha memoria. El ThinkSystem SR675 V3, con hasta 8 GPU de doble ancho, encaja bien.
- Modelos grandes o entrenamiento: 8 GPU NVIDIA HGX unidas por NVLink, como en el ThinkSystem SR680a V3.
Más allá de la GPU
- Memoria RAM del servidor: para cargar los modelos y atender las solicitudes. Los servidores del catálogo admiten desde cientos de GB hasta varios TB de DDR5.
- Almacenamiento NVMe: los modelos pesan decenas o cientos de GB y conviene cargarlos rápido.
- Red: si varias aplicaciones consultan el modelo, una red de 25 GbE o más evita cuellos de botella.
- Energía y refrigeración: un servidor con 8 GPU consume varios kilovatios; confirma que tu rack y tu centro de datos lo soportan.
Si además vas a entrenar o afinar modelos, lee entrenamiento o inferencia. Para cargas con mucha memoria del sistema, mira los servidores de gran memoria.