O Firefox não suporta a autenticação SOCKS5 . Nem outros navegadores, pelo menos tanto quanto sei.
As configurações encontradas referem-se a proxies regulares (HTTP).
Se você realmente quer usar um proxy que precisa de autenticação, você precisa de um wrapper, como socksify em sistemas Linux. Não conheço nenhum software Windows não extinto que ofereça funcionalidade semelhante. Sockscap costumava estar disponível, mas a sua existência continuada é nebulosa na melhor das hipóteses.