Esta não é uma resposta, então se você encontrar uma, obviamente é preferível.
Se não, e esta é a causa do seu enigma:
The reason I am not ssh'ing directly is because I don't want that user to be accessible through ssh (it is the "virtualbox" user, which is obviously an easy target for bots trying to ssh to that server)...
Não me parece um bom raciocínio. "O que os bots visam" O WRT, um sshd bem configurado, é largamente irrelevante. Eles vão zumbir em torno do porto 22 em todo o lugar em qualquer lugar? Aparentemente sim. Isso significa que eles realmente têm uma chance de sucesso?
Tente pesquisar uma história sobre alguém que tenha um bot anônimo aleatório com sucesso invadir o sshd. Tenho certeza que deve ter acontecido com alguém em algum lugar (e, é claro, você pode nunca saber), mas não consigo encontrar nenhum relatório sobre isso. Seria interessante ler qual era a configuração usada.
O SSH é muito seguro quando usado corretamente. Se não fosse, o comércio pela Internet não seria viável. Então, por que esses bots se incomodam? Por "usado corretamente", quero dizer, principalmente, com pares obrigatórios de chave pública / privada. Se você fizer isso e estiver confiante de que sua chave privada é segura (e deveria estar), esteja confiante em relação ao sshd.
Eu acho que a razão pela qual todas as "tentativas de arrombamento" acontecem é que há um grande grupo de usuários que não fazem coisas como fazer perguntas em U & L; não leia páginas de manual e use apenas a proteção por senha, que é como deixar seu cartão de caixa eletrônico em uma máquina em algum lugar com uma placa dizendo "Adivinha!".
No entanto, se você pensar em sua chave privada como seu cartão de caixa eletrônico - como algo que é fisicamente protegido por você (o que essencialmente é), então o alvo se torna muito mais etéreo. Tudo o que esses bots podem fazer é provar que sim, seriam necessários milhares de milhares de anos trabalhando juntos para forçar uma chave de 2048 bits.
Se você estiver cansado de ler relatórios de tentativas de invasão, altere sua porta. Eu vi pessoas aqui poo-poo isso como "segurança pela obscuridade", no entanto, um sshd que está adequadamente protegido na porta 22 não será menos seguro na porta 57, mas não será aleatoriamente incomodado. Claro, todos os seus inimigos drone poderiam apenas escanear todo o IP - mas você sabe o que? Eles não. Eu presumo que isso seja porque o que eles estão procurando é alguém executando um sistema que nem sequer olhou para /etc/ssh/sshd_config , muito menos se instruiu e sintonizou.