Há um aumento muito pequeno no desempenho para desabilitar os não usados. Não há nenhuma vantagem real em deixá-los todos em outra conveniência e apenas pequenos benefícios em desativá-los.
Pessoalmente, deixo-os ativados, uma vez que realmente não faz muita diferença.