Eu tive o mesmo problema, porque usei a versão do pip errada (python 3). Eu corrigi-o instalando o pip2.7 como descrito aqui: link
Você basicamente faz o download do arquivo get-pip.py
e instale o pip2.7 com
python2.7 get-pip.py
agora você pode executar
python2.7 -m pip install https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-0.5.0-cp27-none-linux_x86_64.whl
você precisa ser um superusuário e o tensorflow será instalado.
felicidades