No seu exemplo atual, você está usando o host e a porta errada.
Por favor substitua localhost pelo seu servidor , e configure a porta como configurada no seu sshd_config da seguinte forma:
scp -P XXXX id_rsa.pub username@<SERVER>:.ssh/authorized_keys
Além disso, esteja ciente de que, encaminhando a porta 22 do roteador para a porta reconfigurada, você está essencialmente expondo a porta 22 para o exterior. Isso deveria ser evitado através da configuração de uma porta arbitrária no começo. Configurar seu roteador para encaminhar outra porta para a porta sshd em seu servidor provavelmente seria o que você deseja.