Você precisa criar um novo formato de registro que acrescente o tempo de resposta.
LogFormat "\"%{%Y-%m-%d %H:%M:%S}t\" %V %m \"%U\" \"%q\" %{Content-Type}o %s %B %O %D" responsetime
CustomLog "/var/log/apache2/responsetime.log" responsetime
O %D
adiciona o tempo de resposta em microssegundos ao log. Então você pode sempre fazer o seu próprio formato para o log de acesso, basta incluir o %D
em algum lugar no log