O comando de substituição é muito simples:
sed -r 's/^"(\S|\s{2,})//' /etc/vim/vimrc
Ou similarmente em Perl:
perl -lape 's/^"(\S|\s{2,})//' /etc/vim/vimrc
e AWK:
awk '{$0=gensub(/^"(\S|\s{2,})/,"\1",1)}1' /etc/vim/vimrc
No seu exemplo, você parece estar especificando exceções para linhas que contêm determinadas cadeias.
Isso não é explicado em seu texto, mas pode ser adicionado como uma condição:
sed -r '/^"set compatible/! s/^"(\S|\s{2,})//' /etc/vim/vimrc
perl -lape 's/^"(\S|\s{2,})// if!/^"set compatible/' /etc/vim/vimrc
awk '!/^"set compatible/ {$0=gensub(/^"(\S|\s{2,})/,"\1",1)}1' /etc/vim/vimrc