Você pode nos fornecer a saída de ulimit -a em uma sessão em que isso acontece?
/etc/pam.d/sshd deve envolver pam_limits.so quando você abre uma sessão. Este módulo usará /etc/security/limits.conf para aplicar várias restrições à sua sessão, incluindo o uso de memória.