O erro diz que "apenas ambientes X11 são suportados". Então provavelmente você está logado no Wayland. Faça o login com o Gnome X.org e você estará no X11.
Eu instalei plank do ppa estável;
sudo add-apt-repository ppa:docky-core/stable
Mas não abre, tentei abri-lo usando o terminal, aqui está a saída:
$plank
[WARN 19:35:57.039545] [Environment:161] XDG_SESSION_CLASS not set in this environment!
[CRITICAL 19:35:57.039626] [AbstractMain:257] Only X11 environments are supported
Também tentei outra resposta aqui sem resultados.
Eu tentei Dash to Dock e, em seguida, percebi que é o mesmo que o padrão.
Existe alguma maneira de usar Plank no Ubuntu 17.10, ou talvez algumas outras docas? (exceto cairo-dock , ele usa muita memória, imo)
O erro diz que "apenas ambientes X11 são suportados". Então provavelmente você está logado no Wayland. Faça o login com o Gnome X.org e você estará no X11.