Sim, você pode, a única coisa a ter em conta é que, se você não tem um monitor, você também pode não ter um mouse ou teclado. Alguns BIOS lançarão um erro se não detectar nenhum teclado conectado, mas isso geralmente pode ser desativado. É apenas algo que você precisa estar ciente.
O site Unix Stack Exchange tem uma boa pergunta e resposta em SSH X forwarding que pode ajudar você a começar.