Ok, então eu descobri qual é o problema (obrigado a vocês) e como resolvê-lo:
O problema foi que o NVidia Driveworks SKD parece mexer com o apt, já que nesse apt tenta procurar por atualizações na arquitetura ARM também e não existe tal caminho no caminho do pacote pré-definido (obrigado, @guiverc ).
Como não posso remover a arquitetura porque preciso dela para desenvolvimento, alterei o arquivo /etc/apt/sources.list adicionando [arch=amd64,i386] , quando necessário. Exemplo:
deb [arch=amd64,i386] http://archive.ubuntu.com/ubuntu xenial universe main restricted multiverse
O Apt está então procurando apenas atualizações nessas duas arquiteturas. Isso resolveu o problema.