Acho que a maior diferença é o tal do tessellation, que ajuda a dar mais detalhes em terrenos, rostos e coisas não uniformes.
Porém, para rodar bem tem que ter máquina, porque ele duplica ou até triplica a quantidade de polígonos na área aplicada.
Da uma olhada nessa imagem:

Antigamente os mapas de simuladores eram feitos iguais a imagem da esquerda, apenas com alguns objetos separados para simular montanhas e vales.
O IL-2 1946 usa o tal do Bump Mapping, do meio, para construir os mapas e para simular a água.
Com o DX11 existe a opção de usar o tal do Displacement Mapping que acrescenta detalhes no Bump Mapping, mas não foi bem demonstrado na figura da direita.
Veja agora essa:

O tessellation simples seria o do meio, DX10, e o Displacement Mapping, DX11, acrescenta detalhes ao próprio tesselation.
E isso é feito através de texturas que são lidas como relevos em 3D, o que torna muito mais fácil para os desenvolvedores colocarem detalhes em seus modelos básicos.
Na fuselagem de um avião, por exemplo, seria possível colocar relevo nos encaixes das chapas de alumínio e nos rebites, além de amassados e furos depois de danificado.
Só que dá tanto trabalho que pode até ficar inviável fazer isso para cada avião.
Outros efeitos como luz e reflexo já existiam no tempo do DX8, por isso que o RoF tem essas imagens tão bonitas sem perder em nada para DX10 ou 11, ou teríamos que lutar contra Aliens no futuro IL-2?
santo.