Sim, você precisa do servidor X. Não funcionará no servidor Linux sem servidor X.
Supondo que você tenha um servidor X, você pode executar
export DISPLAY=:0
a menos que o seu gerenciador de exibição não esteja sendo executado no display X padrão.