Deve haver uma entrada no seu log de erros do Apache correspondente a cada erro HTTP 500. Verifique /var/log/apache2/error.log
(acho) para ver qualquer linha na parte inferior correspondente ao erro.
Na maioria das vezes isso deve indicar qual é o problema.
A propósito, os passos que você já tomou já estão em conflito com outros. Você pode executar tanto um PHP thread-safe, ou PHP com o Apache prefork MPM, ou PHP como FastCGI rodando sob php-fpm, ou PHP como um CGI. Mas você instalou pacotes para fazer tudo isso, e não tenho certeza de qual configuração adicional você tentou.
A solução mais simples é instalar o apache2 e o php, e usar o mpm_prefork MPM no Apache (que o Ubuntu deve usar por padrão se você instalar o PHP) e o mod_php.