¿Vale la pena el Cloud para visión artificial? Comparativa real de costes vs. On-premise

Improv

Estamos montando un sistema de inspección de calidad con visión por computadora. Procesamos unas 10,000 imágenes al día (resolución 4K). Actualmente usamos una RTX 3080 local con YOLOv8, pero el equipo se satura y necesitamos escalar. He cotizado Google Cloud AI Platform y AWS Rekognition, pero los costes se disparan (~?.10 por imagen con GPU). ¿Alguien ha hecho una comparativa real? ¿On-premise con varias GPUs o cloud? Nuestro presupuesto es ajustado.

BookLover

Depende del volumen. Para 10k imágenes/día (300k/mes) el cloud te va a salir carísimo si usas GPU bajo demanda. Mira instancias spot o preemptibles: en AWS p3.2xlarge (V100) sale a ~?.60/h spot. Si cada imagen tarda ~0.5s, necesitas 5000s/día ≈ 1.4h/día → ~?.84/día en GPU. Más almacenamiento y transferencia, pero sigue siendo barato. On-premise: una RTX 3090 cuesta ? y consume 350W. En 2 años pagas ~? de electricidad. Si necesitas escalar a 4 GPUs, el cloud escala bajo demanda, on-premise requiere inversión inicial grande.

Improv

Buen punto lo de las instancias spot. ¿Pero no hay riesgo de que maten el trabajo? Nuestro pipeline necesita consistencia. Además, con spot no hay garantía de disponibilidad, y si se interrumpe perderíamos imágenes procesadas. ¿Alguna experiencia con eso?

Fashion

Yo he usado spot para entrenamiento, no para inferencia en producción. Para producción, mejor instancias bajo demanda o reservadas. Otra opción: usar cloud solo para picos (burst) y mantener local para carga base. Por ejemplo, On-premise para 8000 imágenes/día y cloud para las 2000 extras. Así controlas costes. He visto empresas que usan kubeflow para gestionar el escalado híbrido.

Soul

Añado: si tu modelo es ligero, puedes usar CPUs en cloud. Con optimización (ONNX, TensorRT) una instancia c5.4xlarge (16 vCPUs) procesa ~50 imágenes/s con YOLOv8n. 10k imágenes/día serían ~200s/día, a ?.68/h → ?.038/día. Mucho más barato que GPU. Eso sí, si necesitas alta precisión con modelos grandes, CPU no vale.

Sustainable

Discrepo con lo de CPU. Para 4K y YOLOv8m o l, la CPU va a ser un cuello de botella. He probado en c5.9xlarge y apenas 10-15 imágenes/s. Mejor usar instancias g4dn.xlarge (T4) spot. Sale a ~?.15/h, y para 10k imágenes/día (suponiendo 0.2s/img) → 2000s = 0.55h/día → ?.08/día. Y sin riesgo de interrupción si configuras bien el checkpointing.

Improv

Gracias a todos por los números. Me estoy inclinando por un enfoque híbrido: GPU local (RTX 3080) para la carga base y cloud spot para picos. Pero me preocupa la latencia de red y el ancho de banda. ¿Alguna recomendación para minimizar transferencia de imágenes? Estamos pensando en preprocesar local y enviar solo regiones de interés.

Embroidery

Exacto, preprocesa local: redimensiona, recorta, comprime (JPEG calidad 90% apenas pierde precisión). También puedes usar ffmpeg para extraer solo frames clave. Otra opción: enviar las imágenes a S3 y que la instancia cloud las lea directamente. El coste de transferencia (~?.09/GB) es asumible si envías solo regiones pequeñas. Con 2000 imágenes/día y cada ROI de 200KB, serían ~0.4GB/día → ?.036/día en transferencia.