I set my share to full control on computer A, but when I access the share from computer B, it prompt for password.
A primeira coisa feita ao conectar-se a um servidor SMB é a autenticação - o cliente sempre precisa fornecer credenciais, seja automaticamente pelo sistema operacional ou digitado manualmente por você. Quanto controle você dá ao compartilhamento é irrelevante e só é verificado quando você começa a copiar arquivos.
When I type in the password in the password dialog box, it works fine, until computer B restart, and I need to type the password again.
Marque a caixa "☑ Lembrar minha senha" na caixa de diálogo.