A resposta é compatibilidade retroativa e uso.
Jacks Registrados (RJ) foi criado em 1976 para uso telefônico e de comunicação. Fiação de telecomunicações não mudou muito ao longo dos anos. A infra-estrutura é tão arraigada e universal, mudando seria um empreendimento enorme e caro.
USB foi inventado em 1999, especificamente para uso periférico de computadores para unificar conectores. Como os computadores são facilmente modificáveis, os conectores podem e mudaram facilmente ao longo dos anos. Existem atualmente 5 conectores USB padrão: Typa A, Tipo B, Mini-B, Micro-A e Micro-B. Existem vários conectores USB não padrão para dispositivos como carregadores de telefone também. Além disso, o USB 3.1 apresentará um novo conector (semelhante ao conector Lightning da Apple.
É possível usar um conector? Sim, mas sempre há limitações, sendo custo, as leis da física e praticidade.