Você pode usar setrlimit()
da biblioteca resource
integrada do Python para gerenciar limites de recursos em seus scripts do Python.
Como alternativa, a configuração descrita na sua pergunta parece mais com a execução de uma máquina virtual (por exemplo, VirtualBox ou VMware). Você pode especificar quais recursos deseja permitir que sua VM use e, em seguida, executar o que quiser nela e colocá-la em quarentena do restante dos recursos do sistema.