Sim. O cliente tem que falar com algo no final remoto. Ele usa o SSH para a conexão inicial, mas a idéia do mosh é que ele usa seu próprio protocolo, então ele também precisa de seu próprio programa de servidor.
Sugiro também usar screen
ou tmux
com mosh, pois se o cliente morrer (por exemplo, você reinicializa seu laptop), não há como se reconectar à sessão mosh em execução no servidor.