O pcm_s24le tem uma profundidade de bits de 24; parece que seu áudio de entrada tem uma profundidade de 16. Use pcm_s16le.
Dito isso, usar áudio pcm bruto (presumivelmente em um contêiner .wav) é muito exagerado, em termos de tamanho de arquivo, a menos que você esteja fazendo uma edição de forma de onda. Usando
avconv input.file -vn -c:a copy output.file
provavelmente lhe daria os melhores resultados. Você não ganha nada (bem, nada relevante para um computador moderno) de converter o áudio para pcm.