Sem ouvir os sons de 8 bits, é difícil dizer de que tipo de ruído você está falando, mas há vários problemas possíveis:
(1) sempre haverá uma perda geral de qualidade ao converter de 16 bits para 8 bits - afinal, você está descartando informações.
(2) se as amostras de 16 bits não forem normalizadas (ou seja, se usarem somente uma pequena parte da faixa total de 16 bits) elas terão uma qualidade muito baixa quando convertidas para 8 bits - você deve normalizar primeiro para ter certeza que você está usando o intervalo total de 8 bits após a conversão.
(3) existem duas representações de áudio de 8 bits comuns, mas diferentes: assinado (complemento de dois) e sem sinal (deslocamento), sendo este último o mais comum. Se você usar o formato errado, ou seja, convertendo para um formato, mas tentando reproduzir assumindo o outro formato, o áudio será reconhecível, mas ficará muito ruim.
(4) para aplicações de telefonia (voz) é comum usar codificações não-lineares (logarítmicas) para áudio de 8 bits ao invés de linear - os dois mais comuns A-law e µ-law . No entanto, o seu áudio de 8 bits convertido é linear. Se você está tentando usar o PCM linear em um aplicativo de telefonia que espera uma lei A ou lei-µ, isso soará como uma confusão distorcida.