Você pode excluir os arquivos nos diretórios em questão sem excluir os próprios diretórios com --exclude=project/cache/*
.
Lembre-se de que, se houver dotfiles nesses diretórios, eles ainda serão apanhados no tar; se for esse o caso, talvez seja necessário trabalhar em um regexp mais sofisticado.