Tamanho de fonte é o quão grande ou pequeno o texto aparece. Em tela, costuma-se usar pixel pra decisões pontuais e unidade relativa, como em e rem, no código, justamente pra que o texto escale com a configuração de quem usa.
O número sozinho diz pouco. O que realmente importa é a relação entre os tamanhos. Um título de 32px só funciona como título se o corpo logo abaixo for bem menor, porque é esse contraste que cria a hierarquia. Sem ele, a leitura desmorona.
A função principal aqui é a legibilidade. No desktop, o corpo de texto costuma ler bem entre 15 e 18px, e a Apple recomenda um mínimo de 17pt no corpo em mobile. Vale lembrar ainda que o tamanho conversa com a altura de linha: algo entre 1,4 e 1,6 vez o corpo costuma respirar bem.