Os arquivos de áudio WAV e AIFF são descompactados - isso significa que, para cada amostra de áudio, existe uma unidade de dados correspondente (como 1 byte). Por esse motivo, os arquivos de áudio brutos são grandes. Por exemplo, o áudio de CD, que, como o WAV, é apenas um fluxo de áudio PCM, normalmente ocupa todo o CD: ~ 600MB por cerca de 60 minutos de áudio. É por isso que o "bitrate" de arquivos WAV é muito alto; ele não pode ser comparado diretamente com a taxa de bits do MP3 sem considerar a taxa de compactação do MP3.
O MP3 resolve esse problema de tamanho de arquivo de duas maneiras: "compactando" os dados e também descartando alguns dos dados antes que a rotina de compactação seja executada. Essa combinação de técnicas é geralmente chamada de "compactação com perdas" e, para coisas como arquivos de áudio, a perda de algumas informações não é um problema. O que você está perguntando é: em que ponto isso se torna um problema?
Infelizmente, não há uma maneira fácil de responder isso, porque a maneira como a técnica de codificação de MP3 VBR "perde" os dados depende de algo chamado modelo psicoacústico. A idéia básica é a seguinte: enquanto o sistema auditivo humano pode tipicamente perceber sons em toda a faixa de 44kHz de uma gravação típica, nem todas as freqüências são percebidas igualmente. Por exemplo, a maioria dos humanos não pode ouvir abaixo de 10Hz (você pode SENTIR isso, no entanto), e muitas pessoas, especialmente os adultos mais velhos, também não conseguem ouvir. No meio, o seu sistema auditivo ouve algumas frequências melhor do que outras, com grande sensibilidade perto de 22kHz (se bem me lembro), que é em torno do timbre de uma voz humana. Em todas as áreas onde sua audição não é sensível, você pode jogar esses sons fora, se eles não estiverem acima de um determinado limiar de intensidade, porque você não os ouvirá.
Tudo isto é uma maneira de dizer: você realmente precisa tentar codificá-lo em uma determinada taxa de bits e ouvi-lo. Se você não pode dizer a diferença, não há nada para se preocupar. Uma coisa que você deve estar ciente é: se você estiver re-codificando um arquivo que já foi codificado usando um codec com perdas, provavelmente terá resultados insatisfatórios dado o tamanho do arquivo.