Você pode usar o ufw - o "firewall descomplicado" que vem com uma instalação padrão do ubuntu.
sudo ufw allow 22/tcp
sudo ufw allow 5901/tcp from 12.34.56.78
sudo ufw default reject incoming
sudo ufw enable
Qual é:
- permite conexões ssh (caso contrário você irá se bloquear)
- permite conexões VNC de um endereço IP (edite a porta se você não usa o 5901)
- rejeitar todas as outras conexões de entrada
- ativar o firewall
Certifique-se de permitir o ssh antes de ativar o firewall, caso contrário, você será bloqueado.