Eu finalmente encontrei qual era o problema, tinha a ver com taxa de amostragem como eu suspeitava.
O dispositivo de som foi definido em 48000Hz e as fontes em 44100Hz. Eu acho que o dispositivo de som (Realtek) ou implementações de resamplers de aplicativos são muito ingênuos e, como ambas as freqüências são tão próximas, produz um toque. 44100Hz funcionou bem, mas eu mudei para 96000Hz, de modo que também estou coberto se eu tocar 48kHz.