Você não precisa de acesso à internet.
Basta configurar o roteador (os padrões devem ficar bem, mas certifique-se de ativar a criptografia e definir uma senha nas configurações do roteador) e configure cada PC para receber um endereço IP via DHCP (isso também deve ser o padrão). Depois disso, os computadores devem ser alcançáveis uns dos outros (é claro, pode ser necessária uma configuração adicional, mas sem conhecer o seu sistema operacional ou a configuração do software, seria impossível elaborar mais).