Eu acho que você está no caminho certo, não importa muito qual rede você escolher para o segmento privado - seja somente host ou uma rede interna separada. Concedido, a rede interna irá garantir a separação do host como você descreve.
Uma coisa a observar - ao configurar o smoothwall (assumindo uma configuração simples de RED / GREEN), você deu à interface GREEN um endereço IP diferente daquele atribuído ao seu host? O host provavelmente tem 192.168.56.1 atribuído, mas pode variar.
Além disso, eu posso entender o desejo de usar o servidor DHCP smoothwall os clientes privados, mas se ele está causando dor você não pode simplesmente usar o servidor DHCP VirtualBox embutido para a rede somente host? Eu imagino que você gostaria de desativar isso (parece que você pode ter, mas não ficou claro) se você estava pensando em usar um servidor DHCP diferente nessa interface.
Em relação ao problema do DHCP ficar descontrolado, você não tem nenhum adaptador em ponte estranho ou alguma outra coisa configurada no host?
Para referência, você pode ver os servidores registrados e ativos emitindo o seguinte comando no host:
VBoxManage list dhcpservers
Aqui está a saída desse comando para mim:
NetworkName: HostInterfaceNetworking-VirtualBox Host-Only Ethernet Adapter
IP: 192.168.56.100
NetworkMask: 255.255.255.0
lowerIPAddress: 192.168.56.101
upperIPAddress: 192.168.56.254
Enabled: No
Você pode ativar ou desativar o servidor DHCP nessa rede com os seguintes comandos:
VBoxManage dhcpserver modify --netname "HostInterfaceNetworking-VirtualBox Host-Only Ethernet Adapter" --enable
VBoxManage dhcpserver modify --netname "HostInterfaceNetworking-VirtualBox Host-Only Ethernet Adapter" --disable