De acordo com man say , os formatos de arquivo suportados são
--file-format=format
The format of the file to write (AIFF, caff, m4af, WAVE). Generally, it's easier to specify a suitable file extension for the output file.
.wav não funciona, pois precisa ser escrito como .wave . Nenhuma restrição do DOS 8.3 aqui.
Também é possível especificar o formato dos dados. Veja man say para informações adicionais.