Uma fonte de 5px de altura sempre será borrada, pois 5 pixels não são suficientes para exibir uma fonte sem problemas. A renderização de subpixel apenas ajuda um pouco como você pode ver na captura de tela.
A única maneira que eu posso pensar é se você quer ainda ter a fonte de 0,2cm de altura, você tem que ir para um monitor DPI mais alto, que irá exibir mais pixels naqueles 0,2cm.
Por exemplo, se você usar um monitor com o dobro do DPI atual, poderá ir para uma fonte de 10 px e ainda ter o texto de 0,2 cm de altura. Mas vai parecer muito mais nítido.