Geralmente não. A maioria dos telefones carrega apenas a 500mA (cerca de metade do que um carregador DC para um smartphone moderno produz) se detectar que é uma porta USB. O padrão oficial define os níveis de corrente USB 2.0 a 500mA e 3.0 a 950mA. Não é incomum que as portas USB suportem 1A ou mais, especialmente em laptops.
O problema está nos telefones. Alguns telefones podem usar um kernel modificado que permite que você diga ao telefone para ignorar o limite de 500 mA do USB. Isto é frequentemente conhecido como carga rápida USB. Sem isso, a maioria dos telefones simplesmente carrega a 500mA, independentemente do sabor USB que você escolher. Eu não posso dizer com certeza sobre o Galaxy Note 3, no entanto, como é o único dispositivo com uma interface USB 3.0 real. Teoricamente isso poderia cobrar em 950mA, mas eu não vi nada para confirmar isso. Dispositivos que não sejam telefones, quem sabe. Isso dependeria do dispositivo. Você teria que testá-lo e ver.
Use as portas USB 3.0 para dispositivos USB 3.0 e compre um carregador para o seu telefone. Ou, se precisar, carregue com USB, mas será muito mais lento do que um carregador dedicado.