Infelizmente, não há como fazer isso (atualmente). Sua melhor aposta é relatar um bug no rastreador de bugs da Banshee, solicitando que o comportamento seja alterado.
A única outra opção é selecionar "Parar quando terminar" no menu Reproduzir e, em seguida, escolher manualmente outra faixa depois que a música terminar.