Además de los presupuestos, acostúmbrate a usar Infraestructura como Código (Terraform, etc.). Cuando defines toda tu infraestructura en un archivo, es mucho más fácil ver de un vistazo todo lo que tienes desplegado y no dejarte recursos olvidados. Y con un terraform destroy, te aseguras de que todo se borra correctamente.
