Orientação é, basicamente, se a tela está em pé ou deitada, e como o conteúdo se arruma diante dessa posição. O modo retrato, na vertical, serve bem pra leitura e rolagem, enquanto o modo paisagem, na horizontal, vai melhor com vídeo, dashboards e jogos, porque nesses casos a largura extra ajuda a organizar tudo.
No design responsivo, a orientação entra de mãos dadas com o tamanho de tela, porque o layout precisa saber se reorganizar não só quando muda o aparelho, mas também quando o mesmo aparelho gira na mão da pessoa. Um grid bem pensado e componentes flexíveis são o que sustenta essa adaptação sem quebrar nada.
Tem ainda um lado de acessibilidade que costuma passar despercebido, porque nem todo mundo gira o aparelho com facilidade. Quando você trava uma função numa única orientação, acaba excluindo parte das pessoas sem nem perceber, e por isso vale sempre deixar os dois modos viáveis.