O problema é que você está usando um servidor VPS; você não pode usar uma GUI normalmente porque não tem um monitor conectado diretamente a ela; é por isso que startx
não funciona.
Um VPS é destinado ao uso como servidor, não como desktop.
Talvez você possa usar um servidor VNC , mas já nunca tentei.