Parece que, por algum motivo, a Microsoft não acredita que os arquivos .csv sejam arquivos do Excel. Estou usando o Outlook 2016 e o Excel do Office 365, mas acho que isso pode funcionar com outras versões.
No registro em HKEY_CLASSES_ROOT, há entradas para cada extensão de arquivo. Em .xls e outros tipos de arquivos "verdadeiros" do Excel, há uma chave ShellEx \ {8895b1c6-b41f-4c1c-a562-0d564250836f} com o valor da chave Padrão {00020827-0000-0000-C000-000000000046}. A chave ShellEx está faltando na entrada .csv.
Eu adicionei o ShellEx e {8895b1c6-b41f-4c1c-a562-0d564250836f} com o valor acima, e lo! Posso visualizar arquivos .csv no Excel.
HKEY_CLASSES_ROOT
+-.csv
+-ShellEx
+-{8895b1c6-b41f-4c1c-a562-0d564250836f}
+-(Default), REG_SZ, {00020827-0000-0000-C000-000000000046}