A placa de som mais moderna pode suportar nativamente as frequências de amostragem mais comuns (as que você menciona) sem perda de qualidade. E como afirma o user55325, qualquer coisa acima de 44,1 kHz não é realmente necessária para o ouvido humano (normal). A maior parte da perda de qualidade com áudio digital começa após a conversão do som digital para analógico e depende dos filtros usados (uma boa conversão digital - > analógica precisa de um filtro para remover os efeitos de digitalização de alta freqüência), o amplificador e mais importante os alto-falantes (ou fones de ouvido ou ...)
Outra coisa que influenciará a qualidade é: Você usa compactação nesses arquivos de áudio (MP3, WMA, Flac ...) e, na maioria das vezes (exceto quando usa um formato de compactação sem perdas), essa compactação irá influenciar a qualidade mais do que a frequência de amostragem escolhida.
Se você não usar qualquer forma de compactação (ou usar compactação sem perdas) eu manteria os arquivos no formato que obtive, porque qualquer manipulação na frequência de amostragem causará uma pequena degradação na qualidade (mais notável quando a redução da resolução for uma frequência mais alta para um valor mais baixo e o upsampling não lhe trará benefícios - você não pode melhorar a qualidade do som acima da qualidade do original). O upsampling também oferece a desvantagem de arquivos maiores, portanto, você precisará de mais espaço em disco para armazenar os mesmos arquivos.
Sobre os arquivos de 96kHz: estes podem ser perfeitamente usados para processamento posterior, este é (um dos) estúdios de formato (s) usados quando eles fazem uma gravação (mais multi-trilhas) e então combinam tudo isso para colocá-lo em um CD (a 44,1 kHz) ou um filme (48 kHz). Quando você os tiver neste formato, eu os manteria assim, exceto quando você precisar de espaço em disco, mas nunca os utilizaria como formato para todos os meus arquivos.