Para verificar se uma biblioteca está instalada corretamente, você normalmente tentaria criar um programa usando-a.
make check executa testes na árvore de compilação, não nos arquivos instalados. No seu caso eles passaram, o que é bom, mas não é suficiente para garantir que você será capaz de construir software usando o FFTW.
A presença dos arquivos listados em /usr/local/lib indica que você poderá vincular os programas estaticamente com o FFTW. Eu esperaria que houvesse .so arquivos também, mas talvez a compilação tenha decidido que não poderia construir bibliotecas compartilhadas (ou elas precisam ser explicitamente ativadas).
É normal ver erros em config.log , o processo configure realiza várias verificações e espera-se que algumas delas falhem. Se o processo global for bem sucedido, então você está bem.
Quando o software estiver instalado, é seguro excluir a pasta usada para criá-lo, para que você possa remover ~/fftw-3.3.4 . Geralmente é uma boa idéia manter o arquivo fonte, então você pode desinstalar o pacote mais tarde ( ./configure && sudo make uninstall ).
Como Faheem menciona que seria muito mais simples para você
sudo apt-get install libfftw3-dev