O uso de backticks é algo que é chamado de substituição de comando. O shell substitui depois de analisar os tokens na saída. Desde que encontrou citações na saída, escaparia daquelas. Como tal, seria executado:
export MY_VAR=\'foo\'
deixando a variável entre aspas.
Você pode, em vez disso, usar a substituição de processo e continuar usando o comando source
:
source <(tail -1 myFile)