O tipo de opções de segurança (X) que o Ubuntu disponibiliza para configurar uma rede ad-hoc depende da sua placa wireless. Alguns suportam apenas WEP, outros WPA e outros nenhum.
O Ubuntu depende dos requisitos retransmitidos pelo driver da placa sem fio e não há como forçar um método "não suportado" sem modificar o código-fonte do gerenciador de rede.
Se você está tendo problemas para se conectar ao WEP, por favor, não tente segurança.