Você pode simplesmente ir
sudo apt-get update && sudo apt-get gnome-sushi
Isso instalará o gnome-sushi , que ativa essa funcionalidade de visualização no nautilus. Não tenho certeza sobre outros gerenciadores de arquivos.
Pode pré-visualizar músicas, fotos, vídeos e pastas. Ele usa uma janela para fazer isso, com todas as funcionalidades básicas disponíveis, como pausar e pular ... etc