O motivo pelo qual é recomendado é que o Windows (pelo menos, não tenho certeza sobre o Mac e o Linux) tenha que carregar informações de fonte na inicialização. Isso não só pode retardar o processo de inicialização (embora eu não ache que você realmente notaria isso em um computador moderno), mas, mais importante, cada fonte requer uma quantidade de armazenamento na memória. Isso não estará mais disponível para outros processos do sistema operacional e, portanto, poderá desacelerar o sistema operacional devido à paginação.
Assim, em um computador moderno com muita memória e uma unidade rápida, você não notará qualquer diferença em circunstâncias normais.