Use INDIRECT ()
O indireto pega uma string e a transforma em uma referência válida.
=COUNTIF(INDIRECT("'" & A2 & "'!B:B"),"Powered On")
Portanto, no caso acima, seria criada uma string "'VM'!B:B"
. Então, o Indireto irá transformá-lo em uma referência de célula válida.
A referência B: B, por ser um texto literal, não será alterada se a fórmula for copiada ou arrastada para outra célula.
O A2, que é uma referência de célula e é relativo, será alterado quando for copiado ou arrastado para células diferentes.