Any idea where to begin to remove this?
Remova todos os arquivos aos quais você tem acesso. Se você está em hospedagem compartilhada, tudo que você pode fazer é basicamente limpar toda a raiz da web. Assim que todo o sistema estiver limpo, reimplante seu site a partir de um backup seguro conhecido.
Se você estiver usando qualquer banco de dados, altere as credenciais de acesso. Além disso, se você tiver alguma senha em texto não criptografado armazenada nos arquivos de configuração do PHP, você deve considerá-las inseguras também.
Se você executar scripts PHP como o Content Management Systems, agora é a hora de atualizá-los para a última versão de segurança.
Por fim, informe ao seu provedor de hospedagem que ele deve investigar mais a questão. Honestamente, se você não possui o servidor e, portanto, não possui logs ou acesso à configuração do servidor, não há nada que você possa fazer.
Isso pode não ter sido sua culpa. Na hospedagem compartilhada, se um invasor obtiver acesso ao servidor (mais precisamente, o usuário no qual o processo do servidor da Web está sendo executado), ele poderá ler, gravar e criar arquivos sempre que o servidor da Web tiver acesso ao sistema de arquivos. Então, imagine que alguém tenha scripts PHP vulneráveis em sua raiz da web (talvez uma instalação antiga do CMS), um invasor poderia facilmente infectar todos os outros sites que estão sendo executados na mesma máquina física.