Finch é apenas um CLI para o Pidgin.
Ele usa todos os mesmos backends e todos eles precisam preencher suas dependências. Como tal, muitas roupas que você não seria capaz de usar em um servidor sem cabeça é puxado.
Eu não acho que haja uma maneira limpa de separar formalmente os dois projetos e pegar o código dos backends de pidgin e colocar isso em Finch.