Resposta tardia;
limits.conf não é usado quando o systemd está em execução ( limits.conf é para sistemas não-systemd).
O arquivo que você realmente quer é; /etc/systemd/system.conf - esta é a configuração global. Então você tem /etc/systemd/user.conf - isso especifica mais restrições por usuário.
Especificamente no seu caso; mesmo que você tenha configurado user.conf com um limite maior, isso não é válido, pois o limite em system.conf é menor e atua como um limite no limite em user.conf
O_O