Sim, é bem simples. 'Other Sheet'!$B$4:'Other Sheet'!$B$20
não é uma referência válida.
Então, em vez disso, algo assim pode funcionar:
=COUNTIF(INDIRECT(ADDRESS(4,2,1,TRUE,"Other Sheet")&":"&ADDRESS(20,2,1,TRUE)),2)
Produz 'Other Sheet'!$B$4:$B$20
.