Teoricamente, você pode ter algum impacto se a unidade swap estiver localizada fisicamente perto da partição linux. Isso reduziria o movimento da cabeça, que é uma das partes mais lentas do ciclo de leitura / gravação do disco rígido. Na realidade, isso provavelmente não faz diferença significativa. Ainda assim, eu recomendaria colocar o espaço de troca imediatamente após a partição ext4.