Faça um grep -v '^#' file > /tmp/filetmp
e inicie o seu rsync em /tmp/filetmp
Dependendo do seu shell, você pode evitar o arquivo temporário (isso é válido no Bash):
rsync --files-from <(grep -v '^#' file) …
A sintaxe <( … )
de aparência estranha é o que o Bash chama de substituição de processo .