Primeiro, não há uma maneira interna de fazer medianas em uma tabela dinâmica. Essa falta de funcionalidade criou muito trabalho para mim em projetos anteriores, você não acreditaria.
Em segundo lugar, você está certo; OR () faz algo estranho em fórmulas de array. Tente isso para contornar o problema:
=MEDIAN(IF(all!E1:E65000="FY05",IF(all!A1:A65000="A",all!C1:C65000,IF(all!A1:A65000="B",all!C1:C65000,"")),""))
Certifique-se de inserir isso como uma fórmula de matriz. Faça isso pressionando Ctrl + Shift + Enter para inserir a fórmula.