Will it show a Linux option at the start time ?
Depende das configurações da sua BIOS. Ele pode inicializar o disco externo por padrão, caso contrário você teria que ir para as configurações da BIOS e alterar a ordem de inicialização. Depende do seu BIOS específico como fazer isso, mas geralmente é bem evidente.
Will it only boot on the PC through which I have installed Linux on external Harddisk ? If yes, hiw can I make it to boot from other PC's also ?
Por padrão, ele será inicializado praticamente em qualquer lugar, assim como um CD / USB ativo faz. Basta ligar e vai funcionar. No entanto, se você instalar drivers de kernel personalizados (como drivers gráficos proprietários), poderá ter problemas se o computador do qual está inicializando não tiver esse hardware.