Este link tem uma questão semelhante que consiste em torrent e pfsense.
Acho que é possível definir portas de saída no utorrent. Procure por net.outbound_port e net.outbound_max_port.
Para o linux qBittorrent é equivalente ao utorrent.
Para usar outro endereço IP para um determinado serviço. Defina um IP virtual e coloque a regra em iptables em pacotes SNAT originados de uma porta ou intervalo de portas específico.