Claro que você pode. Selecione o clipe, em seguida, clique com o botão direito do mouse (ou procure no menu Editar) e escolha Detach Audio. Um clipe de som roxo aparece abaixo do vídeo. Você pode pegar as pontas para cortar. Selecione o clipe novamente para fazer outro Detach Audio, para que você possa ter que tocar antes e depois da parte que deseja remover.
Estou usando o iMovie'09 e traduzindo da versão em francês, portanto, o texto pode ser um pouco diferente.