Você pode nos fornecer a saída de ulimit -a
em uma sessão em que isso acontece?
/etc/pam.d/sshd
deve envolver pam_limits.so
quando você abre uma sessão. Este módulo usará /etc/security/limits.conf
para aplicar várias restrições à sua sessão, incluindo o uso de memória.