Você precisa invocar bash com -l ou --login para torná-lo um shell de login, que procure e leia ~/.profile . Para mais, consulte a seção INVOCATION em man bash .
Se houver algo em que você deseja que bash seja executado toda vez, não apenas quando for um shell de login, coloque-o em ~/.bashrc , não ~/.profile .
Se você está tentando decidir o que deve ir onde, coloque coisas que podem ser herdadas, por exemplo, configurações de variáveis de ambiente em ~/.profile e coisas que não podem, como alias definições em ~/.bashrc .