Não está totalmente claro quais são suas expectativas. O manual do bash diz que o valor de $ BASH_ENV é usado apenas ao executar um script de shell, mas seu exemplo sugere que você está colocando comandos interativos nele BASH_ENV=$HOME/.myinteractivestuff
.
BASH_ENV
If this parameter is set when bash is executing a shell script, its value is interpreted as a filename containing commands to initialize the shell, as in ~/.bashrc...