Até onde eu sei, o cliente rtorrent usa ncurses para exibir a UI, então você precisaria de algo como screen do GNU para iniciar em segundo plano. Dessa forma, screen pode permanecer como um daemon sem cabeça mantendo rtorrent funcionando. Procure mais informações sobre screen "modo desanexado".
Se você pesquisar no Google sobre o mesmo tópico, mas para Linux, você encontrará muitas informações nesta técnica.