O Nmap usa Lua 5.2, não 5.1. As versões não são compatíveis.
EDIT: Só vi que você está realmente usando lua-sql-sqlite3 para o Lua 5.2. Mas o Nmap está procurando nos locais impressos em sua pergunta, no prefixo /usr/local
. Pacotes do Ubuntu são instalados no prefixo /usr
. Você provavelmente poderia fazer funcionar fazendo sudo ln -s /usr/lib/lua/5.2/luasql /usr/local/lib/lua/5.2/luasql