Descobri que era porque o servidor estava configurado para dormir em inatividade, então não consegui me conectar via ssh porque estava dormindo, mas no momento em que me conectei via VNC, o servidor tinha despertado da conexão LAN .
tudo somado, um erro estúpido