OK, esta é uma peculiaridade do WordPress.
Quando você instala o WordPress, ele armazena o domínio em que você o instala em seu banco de dados. Então, se você instalá-lo em localhost/my-app
, isso é o que será armazenado em seu banco de dados.
Agora, quando está conectado remotamente, ele usa o nome de domínio armazenado e, portanto, quando você tenta acessá-lo pelo telefone, a URL é alterada conforme você está vendo.
Agora é possível alterar esse nome de domínio armazenado no banco de dados do WP, provavelmente é melhor se eu der um link aqui, pois está bem documentado em o WP Codex
Então você só precisa renomear o URL para algo que pode ser acessado pelo seu telefone (sem precisar mexer em nada) e outros PCs na LAN.
Portanto, sugiro que você use o endereço IP do PC que está executando o WAMPServer, por exemplo, altere o URL para http://192.168.1.118/my-web-app