O servidor Apach2 só serve a página de índice do meu site, por quê?

Question

Antecedentes

Eu tenho o site WordPress em que estou trabalhando. Ele está na minha máquina Ubuntu local e é relativamente simplista. Estou usando grunhido para atualizar os arquivos css.man e js.min e usando o git para controle de versão.

Problema

Quando tento acessar meu site, ele funciona bem, mas se eu clicar em um link, recebo uma mensagem 404 .

Eu adicionei o seguinte aos meus sites disponíveis

<VirtualHost *:80>
    ServerName ms.local

    ServerAdmin webmaster@localhost
    DocumentRoot /mnt/projects/mysite/html

    <Directory /mnt/projects/mysite/html>
    </Directory>

    LogLevel info
    ErrorLog ${APACHE_LOG_DIR}/ms.local.error.log
    CustomLog ${APACHE_LOG_DIR}/ms.local.access.log combined

</VirtualHost>

Eu também criei um link simbólico para este arquivo em sites-enabled . Eu adicionei o site à minha lista de hosts também, como este

# Other sites
127.0.0.1   ms.local

A página inicial funciona perfeitamente quando clico em um link externo e obtenho a página 404.

A página 404 que recebo é a do Apache com essa linha

Apache/2.4.7 (Ubuntu) Server at ms.local Port 80

Pergunta

Por que estou recebendo um 404 para cada página que não é minha casa e como posso parar?

Editar 1

Encontrei os logs e vejo que está procurando no lugar errado pelas outras páginas.

[Tue Oct 13 13:51:56.104054 2015] [core:info] [pid 8253] [client 127.0.0.1:49174] AH00128: File does not exist: /mnt/projects/mysite/html/sitemap/, referer: http://ms.local/

O que devo consertar para que ele procure no lugar certo o WordPress ou o apache?

Editar 2

Eu entrei no admin do WordPress e fui embora

settings > permalinks

Aqui eu configuro o permalink para o padrão, isso mostra mais algumas páginas, mas com URLs horríveis.