Sim, é seguro excluir os arquivos, embora a exclusão do arquivo atual geralmente não faça o que você espera.
Por padrão, o Ubuntu usa logrotate Dê uma olhada no seu arquivo /etc/logrotate.d/apache2, você provavelmente vai achar que tem uma linha como
rotate 52
Isso significa que manterá 52 cópias de seus arquivos de log girados. Altere esse número para o número que você deseja manter. No entanto, isso funcionará em todos os logs do apache2 se você quiser apenas fazer o log de erros e depois dividi-lo e fornecer suas próprias regras.