Você pode usar setrlimit() da biblioteca resource integrada do Python para gerenciar limites de recursos em seus scripts do Python.
Como alternativa, a configuração descrita na sua pergunta parece mais com a execução de uma máquina virtual (por exemplo, VirtualBox ou VMware). Você pode especificar quais recursos deseja permitir que sua VM use e, em seguida, executar o que quiser nela e colocá-la em quarentena do restante dos recursos do sistema.