AFAIK, embora o Windows tenha drivers apropriados prontos para teclados e mouses externos, se eles não estiverem em uso, os drivers não serão carregados.
No esquema mais amplo, os drivers necessários para operar esses dispositivos serão triviais em termos de tamanho e complexidade, quando comparados com os outros 101 drivers que o Windows 7 precisa para todos os outros componentes. Simplesmente não é um problema.
Se você está percebendo alguma diferença ao usar periféricos externos, você pode ter um problema separado, mas esse problema deve ser resolvido explicitamente.
Você considera isso algum tipo de otimização ou está tendo algum tipo de problema?