A menos que eu esteja enganado, você está perdendo o parêntese de fechamento para sua declaração.
[ $(du -hsm /home/s3user/extractedISOs | awk '{print $1}' -gt $((1024*50)) ]
Os seguintes itens devem funcionar:
[ $(du -hsm /home/s3user/extractedISOs | awk '{print $1}' ) -gt $((1024*50)) ]