A partir de hoje, além de soluções de terceiros como o Cogmotive, a única maneira de saber fazer isso é por meio do Powershell, não há um relatório no console de administração para isso.
Você pode usar o seguinte para guiá-lo na criação de um script e configurá-lo para ser executado por meio de uma tarefa agendada, se desejar: Relatórios de entrega sem entrega do Office 365 com o Powershell