Você não é o único 'usuário' que usa recursos do sistema. O próprio sistema usa recursos para interagir com o hardware, executar processos em segundo plano e executar determinadas UIs (como a barra de tarefas). Isso é conhecido como sobrecarga do sistema, e há várias perguntas sobre SU sobre como reduzir seus efeitos.