Claro, isso atrasa seu sistema. Até que ponto depende do que seus aplicativos fazem. Os acessos ao sistema de arquivos são mais lentos (porque eles precisam ser verificados) e todas as outras coisas que podem ser configuradas. Mas se um processo não abrir arquivos ou soquetes e assim por diante, ele não deve ser afetado (após a inicialização).
Acabei de dar uma olhada no meu mecanismo de pesquisa favorito (por que não?) e o resultado é que o impacto é irrelevante na maioria dos casos.