poucas horas de bater na minha cabeça depois eu peguei
SERVER2:/home/USER/.ssh/authorized_keys
teve que adicionar o arquivo id_rsa.pub para USER2 com a cauda definida como USER2
ou seja:
ssh-rsa BIGLONGSTRINGOFENCRYPTEDKEYAUTHENTICATION== USER2@ip-SERVER
antes da chave ser definida com
ssh-rsa BIGLONGSTRINGOFENCRYPTEDKEYAUTHENTICATION== USER@ip-SERVER