Como a jdwolf mencionou em um comentário, uma máquina virtual que registra todo o acesso a arquivos seria uma solução robusta. Mesmo que o malware possa detectar que está sendo executado em uma VM, isso é uma coisa bem normal hoje em dia. E se a VM parece lenta, pode ser que a plataforma de virtualização esteja sob uma pesada carga de trabalho.
Também é possível executar um programa através de strace ou comando de depuração similar, que registra todas as chamadas do sistema feitas pelo programa. No entanto, um autor de malware inteligente pode fazer com que o malware seja detectado quando executado sob qualquer tipo de funcionalidade de depuração (como strace ). Em seguida, o malware pode se comportar ingenuamente nesse momento e deixar as coisas ruins até mais tarde, quando não for executado sob ferramentas de depuração.