Não importa, é compatível com versões anteriores.
O .so é o preferido, mas o .dll funcionará bem.
O que seu log de erro do apache diz? Qual versão do apache você está usando?
Como eu acho mod_bw tem problemas com 2.4 ou 2. + em geral.
Experimente mod_ratelimit se estiver apenas tentando diminuir a velocidade dos usuários, isso não limitará (não acho) o uso geral da largura de banda, mas limitará a quantidade de largura de banda que cada usuário pode usar.