Bash não interpreta variáveis em strings de aspas simples. É por isso que isso não está funcionando.
myString="this/is_an?Example=String"
sed -i "s|sourceString|${myString}destinationString|g" myTextFile.txt
Funcionaria.
Ou se você precisar da aspa simples por outro motivo, poderá unir as cordas e elas serão interpretadas como uma só:
myString="this/is_an?Example=String"
sed -i 's|sourceString|'"$myString"'destinationString|g' myTextFile.txt