Depois de muita tentativa e erro, descobri que isso está sendo causado pelo módulo php5 que está sendo carregado em /etc/sysconfig/apache2 . Removendo-o completamente, parou este comportamento.
Eu preciso do módulo php5 , então, para atenuar esse atraso, adicionei o seguinte em etc/apache2/server-tuning.conf :
GracefulShutdownTimeout 2
Agora, quando o segfault ocorre ao parar o apache, ele fica pendurado por apenas 2 segundos.