Um certificado SSL tem duas partes; uma chave pública e uma chave privada.
Arquivos .CER não contêm nada secreto. É a chave pública que o servidor da Web envia para cada cliente que se conecta ao site habilitado para SSL. Não há motivo para excluí-lo do ponto de vista de segurança. Na verdade, você provavelmente quer fazer o backup caso o servidor morra e precise reutilizá-lo no que estiver sendo substituído.
No entanto, o arquivo .CER não é útil sem sua chave privada correspondente. O Windows gera uma chave privada automaticamente quando você cria uma solicitação de certificado. Seu arquivo .PFX definitivamente contém uma cópia do .CER. Mas pode ou não conter uma cópia da chave privada. Depende inteiramente de quem o gerou e como.
Se o arquivo PFX contiver a chave privada, então sim. Bloqueie esse bad boy fora do site e exclua a cópia do servidor. Alguém com esse arquivo pode usá-lo para representar seu site.
Se o arquivo PFX não contiver a chave privada, não será mais útil que o arquivo bruto do CER. E, se possível, você provavelmente desejará exportar um novo arquivo PFX que contenha a chave privada para fins de DR / backup (supondo que o certificado permita a exportação de chave privada).