O Windows não usa o IPSec para criptografar transferências SMB. Por padrão, as transferências SMB são realizadas sem criptografia.
Com o Server 2012 R2, há uma opção para a criptografia de transferência SMB nativa , embora seja desabilitado por padrão e não disponível no Server 2008 R2.
Então, parece que é hora de obter uma versão atualizada do Windows para servir esses arquivos, caso você precise ter transferências SMB criptografadas nativamente.