A solução foi: baixar os drivers de áudio diretamente do realtek desde que eles estavam desatualizados na Dell. Reinicie e vá para o BIOS, eu tive que forçar o "Integrated Audio" para ON, em vez de AUTO. Não sei por que a AUTO não ofereceu nenhum dispositivo de áudio no Windows, mas lá vamos nós.
Isso deve ter sido porque a placa gráfica anterior estava lidando com o áudio e oferecendo-me os dispositivos de áudio virtuais e o BIOS não voltou para o áudio integrado quando a placa foi substituída.