A aceleração de hardware descarrega algo (por exemplo, decodificação de vídeo) da CPU para o hardware dedicado. Algo que foi feito no software agora é feito em hardware
Qualquer hardware projetado para saída (placas gráficas, placas de som) pode emitir sinais, mas isso não significa que seu hardware pode ser usado para 'apenas alguns cálculos'.
Exemplo sem usar a aceleração de hardware: Ao jogar um jogo que usa certas tecnologias do DirectX, seu cpu pode calcular o som surround, eco, ...
Ao usar a aceleração de hardware, seu processador pode simplesmente entregar as informações para a placa de som, e a placa de som executará os algoritmos para essas tecnologias do DirectX. O cpu descarrega esse trabalho para a placa de som, o que significa que a CPU tem mais tempo para outras coisas.
Este é um exemplo de exemplo (e pode faltar alguns detalhes), mas deve lhe dar algumas dicas sobre o conceito.
Observe também que, por exemplo, o Windows Vista descartou o suporte para certa aceleração de hardware para o som, já que o som é relativamente fácil de calcular em processadores modernos (2ghz +, comparado a alguns 100 milhões de anos atrás)