Para obter uma latência mais baixa, a CPU precisa atender as interrupções do dispositivo com mais frequência e, assim, mover os dados em partes menores - para que mais partes tenham que ser movidas. Acontece que a configuração e desmontagem (a sobrecarga) para mover um pedaço de dados para ou de um dispositivo é significativa. Portanto, quanto menos blocos / segundo você estiver manuseando, menor será a carga na CPU.
No entanto, CPUs modernas são tão poderosas que a diferença não deve ser perceptível.