Acredito que isso possa ser um problema em que seu telefone está conectado a duas redes ao mesmo tempo, uma para sua rede Wi-Fi e outra para a rede de dados de celular. Quando o telefone tenta fazer ping no seu Raspberry Pi, às vezes ele tenta fazer o ping pela rede do celular, onde as conexões LAN P2P são desativadas e, portanto, falha o ping. No entanto, às vezes, o padrão é a rede Wi-Fi, que tem conexões LAN ativadas e, portanto, pode ver e fazer ping no seu servidor Pi.
Por favor, tente desabilitar todas as conexões de celular em seu telefone e veja se o ping é bem-sucedido em 100% do tempo.
Além disso, se for possível, tente executar o ping do Pi de outro computador conectado ao Wi-Fi, como um laptop, e veja se a conexão é intermitente. Se for, o problema pode estar em outro lugar.