Es un error súper común con rsync. La ruta en --exclude es relativa al directorio de origen.
Como tu origen es /home/user/, solo tienes que poner los nombres de los directorios a excluir, sin la ruta completa. Y normalmente, se ponen entre comillas simples para evitar que el shell expanda caracteres especiales.
rsync -avh --progress --exclude '.cache' --exclude 'Downloads' /home/user/ /mnt/backup/Prueba así, debería funcionar.