Sim, como você notou, nada impede que o comando cp crie um novo .ipython dir dentro de todos os outros .ipython dir.
Se você estiver usando em um script que você executa repetidamente, a melhor abordagem para evitar o problema é não usar cp mas rsync :
rsync -vua ~/.ipython/ ~/some/path/.ipython/
NB, o / no final do caminho é significativo para rsync . Se você está tentando, não se esqueça de adicionar isso.
EDITAR : a resposta do Kruug deve estar funcionando também, mas rsync trará um desempenho melhor, especialmente quando você está fazendo isso repetidamente.