Você tem que marcar os pacotes para esta aplicação de alguma forma. A maneira mais fácil de fazer isso seria a seguinte:
- Executa o rtorrent como um usuário próprio
- Use iptables para marcar as conexões do usuário rtorrent (-m owner --uid-owner rtorrent)
- Como alternativa, você também pode corresponder ao PID (--pid-owner)
- Use o roteamento de políticas para rotear essas conexões de maneira diferente da sua tabela de roteamento "normal".
A explicação detalhada seria mais útil se escrita aqui, mas isso deve dar palavras-chave suficientes para o google.