Você pode tentar
:% s/'\([^']*\)'/$()/gc
g torna global (para todas as entradas na linha), c faz com que vim pergunte ao usuário sobre cada substituição.
Mas não funcionará com backstacks aninhados e código de várias linhas. Apenas para pares de backticks em linha.
Você também pode sair de vim e usar sed para isso:
sed -n -i.backup 'N; ${s/'\([^']*\)'/$()/g; p; q}; b' filename
Funcionará com backtrics de várias linhas, mas sem aninhamento.