Você pode usar o Start-Process
(ou seu comando start
alias).
start G:\image.png
Ou
start $usbDriveLetter"image.png"
Ele abrirá sua imagem com o conjunto de aplicativos padrão para abrir arquivos png (ou solicitará que você escolha um, se nenhum visualizador de imagens padrão estiver definido).
Nota dos comentários, por flolilolilo : Observe que apenas chamar uma variável exibirá seu valor. No seu caso, você realmente deseja usá-lo como o parâmetro de comando Start-Process
.