Bem, eu percebi. Eu precisava apenas instalar o openssh-server na máquina de destino. Isso resolveu completamente o problema.
Além disso, descobri que, se você quiser usar portas não padrão, deverá informar ao ssh-server para ouvir com sudo /usr/sbin/sshd -p <port>
. Eu configurei em duas máquinas, então eu tive que especificar uma porta arbitrária na segunda máquina como 22 foi usada pela primeira. Além disso, o comando deve ser executado com um caminho absoluto por algum motivo.