Modelo mental é a representação interna que a pessoa constrói sobre como um sistema, produto ou processo funciona. Ele é feito de experiências anteriores e, por isso, molda o que a pessoa espera no momento em que usa a sua interface.
Um exemplo simples ajuda a ver, porque a maioria das pessoas espera que clicar no logo leve pra home, já que isso virou parte do modelo mental de como site funciona. Quando o produto respeita esse modelo, a interação flui, e quando contraria sem aviso, gera atrito e erro.
Bom design trabalha de dois jeitos, porque ele alinha o produto ao modelo mental de quem usa ou redesenha esse modelo com cuidado e sinais claros. E vale lembrar que modelo mental não é fixo, já que ele muda com a tecnologia, tanto que o gesto de arrastar virou natural, mas nem sempre foi.