Acontece que o problema é ainda mais complexo:
a a
b d
c x
d b
b d
a a
Isso deve retornar 4, já que combinações duas e be correspondem uma vez. Eu não descobri como fazer isso em uma fórmula, mas colocando isso
=IF(COUNTIF($A$1:A1,A1)=1,MIN(COUNTIF(A:A,A1),COUNTIF(B:B,A1)),0)
na coluna seguinte, puxando para baixo e depois resumindo, resolveu "bom o suficiente" por enquanto.