Para empezar, FastAPI es una opción excelente. Es muy rápido, asíncrono y la validación de datos con Pydantic es genial para definir los inputs y outputs de tu API. Puedes cargar el modelo una vez al iniciar la aplicación para que esté en memoria y listo para hacer inferencias.
Si quieres algo más avanzado y enfocado en MLOps, échale un ojo a BentoML. Es un framework diseñado específicamente para empaquetar y servir modelos de machine learning. Te abstrae de mucha de la complejidad de crear el servidor web.
