Esta ordem religiosa foi fundada por um cruzado calabrês, que, para cumprir um voto feito numa batalha, se retirou para o monte Carmelo, para as ruínas dum antigo mosteiro construído em 400 e habitado por anacoretas submetidos às regras de S. Basílio. 

Nos primeiros tempos eram os carmelitas uns piedosos solitários, empregando-se em rezas e jejuns, ocupando-se a dar conforto aos viajantes que se perdiam pelo monte Carmelo. Em 1112 o patriarca de Jerusalém, Alberto de Verceil, reuniu-os em ordem religiosa, sujeitou-os à observância duma regra comum, que em 1171 o papa Honório III confirmou. Esta ordem foi-se depois desenvolvendo, e subdividindo-se, em Carmelitas conventuais, os que aceitaram os benefícios do papa Eugénio IV; Carmelitas observantes, os que ficaram fieis às regras primitivas; Carmelitas descalços, os que aceitaram a reforma de Santa Teresa e de S. João da Cruz; Carmelitas terceiros, os religiosos instituídos no século XV por Sisto IV.

Em Portugal estabeleceu-se esta ordem em 1250, por que aportando aqui uns cavaleiros malteses, que traziam consigo alguns frades carmelitas, fundaram em Moura um convento. Depois fundaram-se outras casas religiosas, chegando a haver em Portugal, no fim do século XVIII doze conventos e quatro mosteiros de carmelitas calçados, que assim se designavam, depois da reforma de Santa Teresa e de S. João da Cruz, realizada em 1526, reforma que Pio VI aprovou. Gregório XIII separou os religiosos que seguiam os preceitos de Santa Teresa dos antigos carmelitas, ficando estes com a designação de calçados, e recebendo os outros o nome de carmelitas descalços. Foi João Soreth, geral dos carmelitas, quem em 1451, fundou a ordem das freiras, dando-lhe uma regra análoga à dos carmelitas conventuais, a qual foi aprovada pelo papa Nicolau V.