Sim, a autenticação básica envia senhas em texto simples. Se o seu site for executado por SSL, isso fará com que todas as comunicações (incluindo a autenticação básica) sejam protegidas.
A Autenticação Integrada do Windows refere-se apenas ao fato de o IIS verificar todas as combinações de nome de usuário / senha recebidas em relação aos usuários do Windows (domínio e / ou usuários locais), em vez de verificar alguma outra loja. Você pode usar a autenticação integrada com estilos básicos (texto simples) ou digest (md5 hash) de credenciais de transferência. O último é mais seguro porque a senha real não é transmitida.
A menos que você esteja executando um site de intranet no qual seus clientes já tenham sido autenticados com o mesmo domínio do Windows, eu evitaria o uso da Autenticação Integrada do Windows.
Autenticação de aplicativo basicamente significa que você faz a autenticação em seu script / aplicativo da web. Isso geralmente envolve coletar um nome de usuário e senha em um formulário html normal, verificar o nome de usuário / senha em seu banco de dados e definir um valor de sessão indicando que o cliente foi autenticado. Essa é uma abordagem portátil, pois não requer que os usuários do Windows sejam configurados para seus clientes. Os formulários de login devem ser executados via SSL, pois os formulários passarão o campo da senha em texto simples.