Muita coisa mudou desde que essa pergunta foi feita, mas possivelmente essa resposta fornece uma abordagem útil.
O processamento de e-mail simples que você está perguntando abre uma falha de segurança, conforme observado por outras pessoas. Mas você pode corrigir esse buraco com uma etapa adicional de confirmação.
Na versão básica, depois que o servidor recebe as instruções, ele envia um código de confirmação para a sua conta de email (permite manter a geração de outro tópico), para o qual ele aguardaria para ser repetido por você. Só então seguiria as instruções que você enviou no primeiro e-mail.
Esta solução pode ter variações enriquecidas. Uma parte deles seria operações no próprio código. Outra maneira de melhorar a segurança é abrir um novo canal de comunicação. Você pode conectar outro dispositivo móvel ao servidor, que enviaria para você o código de autorização como um SMS. Desta forma, você também seria informado no caso de alguém tentar enviar instruções para o seu servidor.