Desculpe, esqueci de responder quando recebi a resposta. Se alguém vir isso no futuro, a correção para meu problema foi exportar a variável PATH para a pasta anaconda bin (onde poderia encontrar o binário python que o anaconda usa e que pode acessar o tensorflow):
export PATH="<path_to_anaconda_folder>/anaconda3/bin:$PATH"
Obrigado ao Tux_DEV_NULL pela ajuda!
Além disso, adicionei o seguinte apenas no caso de evitar futuros problemas de cuda (estou usando o gpu), na verdade não sei se é necessário, mas talvez acabe ajudando alguém ...:
export PATH=$PATH:/usr/local/cuda-8.0/bin