O Debian instala / destino por padrão. Você terá que pular algumas das etapas de instalação e ter um arquivo pronto para a montagem de loopback. Execute mkfs.ext2 (ou similar) no arquivo antes de montar o loop -o.
mkdir /target
mount /path/to/file /target -o loop
Normalmente, com instalações para propósitos especiais, eu pulo o instalador do Debian e uso o debootstrap e o apt:
debootstrap wheezy /target http://debmirror/debian
mount -bind /dev /target/dev
'' '' /proc ''
'' '' /sys ''
'' '' /dev/pts /target/dev/pts
chroot /target
apt-get install linux-image grub
... the remainder depends on how you want to deploy the image
(setup grub and linux with debconf)(remember no mbr on fs image)
(edit /etc/fstab)