Crie um atalho que inicie explicitamente o Filezilla com as opções de linha de comando apropriadas, a partir daqui: link ou seja, protocolo como SFTP: // etc.
"filezilla.exe SFTP://mywebsite.com" deve ser o suficiente para a linha de comando.
Alternativamente, você deve ser capaz de criar um atalho usando o mesmo URL, ou seja, um atalho do Windows com o "local" sendo "SFTP: //mywebsite.com", embora ele solicite a autenticação na conexão. No entanto, você terá que informar ao Windows como lidar com o protocolo SFTP, através de algum programa instalado que lida com SFTP, para que isso leve mais trabalho.
O WinSCP é outra opção que algumas pessoas preferem, sendo mais amigável ao usuário. E há um add-in chamado "Swish" que é mencionado em vários sites, que se integra melhor com o Explorer, mas não tenho nenhuma experiência em primeira mão com ele. Veja sites como link para obter detalhes.