Es un error clásico. El 99% de las veces, el problema son los permisos de los archivos y carpetas en el servidor.
SSH es muy estricto con la seguridad. Ejecuta estos comandos en tu servidor:
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keysLa carpeta .ssh solo debe ser accesible por ti, y el archivo authorized_keys solo debe ser legible y escribible por ti. Si los permisos son demasiado abiertos, SSH rechaza la conexión por seguridad.