Entrenamiento o inferencia: qué servidor de IA necesitas
La primera pregunta al cotizar un servidor para inteligencia artificial no es la marca de la GPU, sino qué vas a hacer con él: entrenar modelos o ponerlos a responder. Son cargas muy distintas y llevan a servidores muy distintos, de un rack 1U a uno de 8U.
Esta guía explica la diferencia en términos prácticos y qué servidores Lenovo ThinkSystem del catálogo encajan en cada caso.
Actualizado el
Qué es entrenar y qué es inferir
Entrenar es enseñarle al modelo con grandes volúmenes de datos: el servidor procesa el conjunto de datos una y otra vez, ajustando los parámetros del modelo durante horas, días o semanas. Afinar (fine-tuning) un modelo existente con tus datos es una versión más corta del mismo trabajo.
Inferir es usar el modelo ya entrenado: responder preguntas en un chatbot, clasificar documentos, detectar objetos en video. Cada respuesta pide mucho menos cálculo, pero llegan muchas y se espera que salgan rápido y sin cortes.
Qué pide cada carga
| Entrenamiento | Inferencia | |
|---|---|---|
| GPU | Muchas: 4 a 8 por servidor, trabajando juntas | De 1 a 4 suelen bastar por servidor |
| Conexión entre GPU | Clave: NVLink o red de alta velocidad | Menos crítica si el modelo cabe en una GPU |
| Memoria de GPU | La que pidan el modelo, los datos y el lote | La que pidan el modelo y el contexto |
| Uso | Tandas largas a máxima carga | Continuo, con picos según los usuarios |
| Formato habitual | Racks de 3U a 8U o nodos con refrigeración por agua | Racks de 1U y 2U, o edge |
Servidores para entrenamiento
| Modelo | Formato y procesadores | GPU |
|---|---|---|
| ThinkSystem SR680a V3 | Rack 8U, 2 Intel Xeon de 5.ª generación | 8 GPU NVIDIA HGX H100, H200 o B200 |
| ThinkSystem SR675 V3 | Rack 3U, 1 o 2 AMD EPYC de 4.ª o 5.ª gen. | Hasta 8 GPU de doble ancho de 600 W |
| ThinkSystem SD665-N V3 | Bandeja 1U, 1 o 2 AMD EPYC de 5.ª gen. | 4 GPU NVIDIA HGX H100 SXM5 con NVLink |
El ThinkSystem SR680a V3 une sus 8 GPU NVIDIA HGX con NVLink de hasta 1,8 TB/s, pensado para entrenar LLM. El ThinkSystem SR675 V3 es modular, con hasta 8 GPU de doble ancho, y el ThinkSystem SD665-N V3 se refrigera por agua con Lenovo Neptune para centros de datos densos. Mira todos los servidores para entrenamiento.
Servidores para inferencia
| Modelo | Formato y procesadores | GPU |
|---|---|---|
| ThinkSystem SR650 V3 | Rack 2U, 2 Intel Xeon de 5.ª gen. | Hasta 8 GPU de ancho simple o 3 de doble ancho |
| ThinkSystem SR665 V3 | Rack 2U, 2 AMD EPYC de 4.ª o 5.ª gen. | Hasta 3 GPU de doble ancho u 8 de ancho simple |
| ThinkSystem SR655 V3 | Rack 2U, 1 AMD EPYC de 4.ª o 5.ª gen. | Hasta 8 GPU de ancho simple o 3 de doble ancho |
| ThinkSystem SR630 V3 | Rack 1U, 2 Intel Xeon de 5.ª gen. | Hasta 3 GPU de ancho simple de 75 W |
| ThinkSystem SR645 V3 | Rack 1U, 2 AMD EPYC de 4.ª o 5.ª gen. | Hasta 4 GPU de ancho simple |
| ThinkEdge SE455 V3 | Rack 2U de fondo corto, 1 AMD EPYC 8004 | Hasta 2 GPU de doble ancho o 6 de ancho simple |
Para poner modelos en producción, los servidores de 2U como el ThinkSystem SR650 V3 o el ThinkSystem SR665 V3 combinan GPU con mucho almacenamiento. Si el servidor va fuera del centro de datos (una planta, una tienda, una sede remota), el ThinkEdge SE455 V3 es de fondo corto y opera de -5 °C a 55 °C. Mira todos los servidores para inferencia.
Si haces las dos cosas
Muchas empresas afinan modelos de vez en cuando y los ponen a responder todo el tiempo. Hay dos caminos: un servidor con varias GPU que haga las dos tareas en distintos momentos, o separar un servidor de entrenamiento y otros más pequeños de inferencia que crecen según los usuarios.
Si vas a correr un modelo de lenguaje en tus propios servidores, la guía servidor para LLM en tu empresa explica cómo calcular la memoria de GPU.