Você pode usar a seguinte configuração:
for_window [class=".*"] fullscreen enable
A configuração for_window [CRITERIA] COMMAND é executada em COMMAND para cada nova janela correspondente a CRITERIA . i3 usa PCRE (expressões regulares compatíveis com Perl) para correspondência de padrões, portanto o padrão .* corresponde a qualquer número de caracteres arbitrários. Significa que corresponde a qualquer nome de classe possível, mesmo os vazios.