Isso deve ser feito:
apt-get source vnc-server
Isso fará o download do código-fonte do pacote vnc-server para o diretório atual.
Atualização para o Hardy:
apt-get source tightvncserver
ou
apt-get source vnc4server
Depende apenas de qual servidor você prefere usar.