Para utilizar totalmente o sistema, ele apresenta todos os serviços com os mesmos recursos e o kernel tentará manter todos eles executando com a mesma prioridade. Você pode definir o nível de prioridade do processo sshd para o nível mais alto. (Como bom vai para baixo a prioridade sobe)
Veja aqui: link
Isso não resolverá seu problema com a memória. Você precisaria usar cgroups para atribuir ao processo sshd sua própria memória reservada para lidar com isso.