mod_xsendfile funciona perfeitamente assim. Acabei de instalar para testar.
<?php
header("X-Sendfile: /tmp/xsftest");
header("Content-Type: application/octet-stream");
header("Content-Disposition: attachment; filename=\"xsftest\"");
exibe o arquivo gerado por $ seq -f %03.0f 001 100 > /tmp/xsftest
$ curl -v -H "Range: bytes=100-151" -H -v http://myserver/xsf-test.php
> GET /xsf-test.php HTTP/1.1
> User-Agent: curl/7.38.0
> Host: myserver
> Accept: */*
> Range: bytes=100-151
>
< HTTP/1.1 206 Partial Content
< Date: Sun, 19 Jul 2015 21:52:43 GMT
* Server Apache is not blacklisted
< Server: Apache
< Content-Disposition: attachment; filename="xsftest"
< Last-Modified: Sun, 19 Jul 2015 21:47:01 GMT
< ETag: "60981c0-190-51b415c7afad3"
< Content-Length: 52
< Content-Range: bytes 100-151/400
< Content-Type: application/octet-stream
<
026
027
028
029
030
031
032
033
034
035
036
037
038
$
(eu tirei o conteúdo sensível)
Portanto, seu aplicativo que não está procurando nos arquivos sem buffer pode ser porque seu aplicativo não o suporta ou o formato de arquivo não o suporta.
Ou, ao que parece, você está usando um navegador errado. Infelizmente. De acordo com este relatório de erros , o Chrome tem problemas com arquivos mp3, que não têm o tag de informação. Eu tentei usar o script php mencionado acima para servir um arquivo mp3 baixado do seu site e seguindo html (feio, mas faz o trabalho).
<!html5>
<audio src="xsf-test.php" controls autoplay loop>
<p>Your browser does not support the <code>audio</code> element </p>
</audio>
O Firefox 39 e o IE 11 tocam e procuram flawlesly. O Chrome 43 não.