Tente escapar do '.' no regex sed, para ser mais preciso.
E para a variável ToString:
- escape do '\' para que o interpretador de shell seja expandido para uma única barra (no terceiro ponto abaixo),
- ao definir essa variável, use aspas simples para que ela não seja expandida e
- expanda (com aspas duplas) ao usá-lo no sed para obter o resultado final correto.
Então, algo assim deve funcionar:
ToString='java.extended.properties=-XX\:MaxPermSize\=128m -XX:CompileCommand=exclude,com/tibco/repo/RVRepoProcessBridge,handleServerHeartbeat'
sed -i "s@.*java\.extended\.properties.*@""$ToString""@g" "$ToFile"