This lead me to a other possibility, that it is simply not possible to NAT such a packet because there is no port in my IP or ESP header - is that the reason?
Sim, essa é definitivamente uma das razões, especialmente com vários hosts IPsec por trás do mesmo dispositivo NAT. Por favor leia RFC 3715 (Requisitos de Compatibilidade da Tradução de Endereços de Rede IPsec (NAT)) para uma descrição do impacto potencial que a NAT pode ter em conexões IPsec.