Eu tive um problema semelhante, acredito, e consegui diminuir o tamanho da fonte para o VLC e o TexStudio, instalando a ferramenta de configuração do Qt5, usando as etapas descritas aqui: link
(Nota: reinicie o sistema depois de incluir
export QT_QPA_PLATFORMTHEME="qt5ct" em ~ / .profile.)
Em seguida, no Qt5ct, configurei o tamanho da fonte para 8.
Eu sou novo aqui e para o Ubuntu, então isso pode não ser a melhor solução. Deixe-me saber se responde a sua pergunta ou se funciona para você.