Este problema menor aparece devido às suas configurações de idioma regionais. Quando você alterna as configurações regionais para inglês (Estados Unidos), as aspas duplas são exibidas corretamente após o logout e o retorno. Durante o processo de instalação, você selecionou Bangalore como sua localização. Essa é a razão pela qual é exibido de maneira errada. Você tem que decidir o que é mais importante para você, viver com esse pequeno problema e ter suas configurações regionais, incluindo a moeda indiana definida da maneira correta, ou ter definido e usar o idioma estrangeiro inglês como idioma padrão.
Você pode querer considerar arquivar um relatório de erro no Launchpad para resolver isso nas próximas edições do Ubuntu. Talvez outros usuários também estejam incomodados com esse problema e confirmem o bug.
Aqui você encontra as informações que precisa, como reportar bugs no Launchpad: Como reportar bugs