O módulo expires
requer que o módulo headers
funcione.
sudo a2enmod headers
sudo service apache2 reload
Além disso, sua configuração parece bem.
Mas, para impedir que o PageSpeed Insights reclame, você só precisa aumentar o tempo de expiração de seus recursos de 2 dias para um valor maior ou igual a 7 dias.
Você só precisa modificar a seguinte linha:
ExpiresDefault "access plus 2 days"
Nos documentos do PageSpeed Insights :
Recomendamos um tempo de cache mínimo de uma semana e, de preferência, até um ano para ativos estáticos ou ativos que mudam com pouca frequência.