Em vez de letras normais, existem símbolos estranhos
Como Rmano apontou, você nunca consegue atingir 100% de compatibilidade. No entanto, o problema que você descreve parece estar relacionado a fontes diferentes. Portanto, uma primeira tentativa seria concordar em usar fontes que estão disponíveis em ambas as plataformas ou instalar as fontes do MS no Ubuntu (a última, no entanto, não é legal com as fontes mais recentes do MS se você não tiver uma licença do Windows).