Retire agora e presuma que todos os dados foram comprometidos. Restaurar a partir de um backup em bom estado; se você tem armazenado dados confidenciais / privados, assuma que o hacker também os possui; responder de acordo.
Se seu site foi invadido por uma vulnerabilidade em seu código, convém fechá-lo antes de colocá-lo novamente on-line. Caso contrário, ele será invadido novamente e novamente.