Es un error súper común al pasar a Vite. Vite no usa process.env como lo hace Node o Create React App. Para exponer una variable de entorno al código del cliente, tienes que ponerle el prefijo VITE_.
Cambia tu .env a VITE_API_KEY="mi_clave_secreta". Luego, en tu código, la accedes con import.meta.env.VITE_API_KEY.
Este prefijo es una medida de seguridad para evitar exponer accidentalmente variables de entorno del servidor al cliente.