As origens da Ordem de Cavalaria do Santo Sepulcro de Jerusalém remontam à Primeira Cruzada, quando o seu líder, Godofredo de Bulhão, libertou Jerusalém.

Na reorganização que fez dos corpos religioso, militar e administrativo do território recém-libertado do controlo Muçulmano, criou a Ordem dos Cónegos do Santo Sepulcro. Segundo os registos dos Cruzadas, em 1103 o primeiro rei de Jerusalém, Balduíno I, assumiu a chefia dessa ordem canónica e reservou, para si e para os seus sucessores (como agentes do Patriarca de Jerusalém), a prerrogativa e o direito de nomear os Cavaleiros para essa ordem, no caso de ausência ou impossibilidade do Patriarca.

A Ordem incluía não só membros regulares (Frates), mas também seculares (Confrates) e militares. Estes últimos eram armados cavaleiros de entre os cruzados pelo valor e dedicação demonstrados, fazendo votos de obediência à Regra Agostiniana de pobreza e obediência e assumindo, como especial obrigação, defender o Santo Sepulcro e os Lugares Santos, sob o comando do Rei de Jerusalém.

Pouco tempo depois da Primeira Cruzada, os cruzados - incluindo os Cavaleiros da Ordem dos Cónegos do Santo Sepulcro - começaram a regressar às suas terras natais. Este movimento levou à criação de priorados por toda a Europa, os quais faziam parte da Ordem e estavam sob a mesma jurisdição dos nobres cavaleiros ou prelados investidos no próprio Santo Sepulcro e que, apesar de terem deixado de estar ao serviço do Rei de Jerusalém, continuavam a pertencer à Ordem.

A Ordem começou a falhar como corpo militar coeso de cavaleiros depois da reconquista de Jerusalém por Saladino, em 1182, deixando de existir como tal depois da derrota de S. João de Acre, em 1291. O fim do Reino Cristão de Jerusalém deixou a Ordem sem liderança, apesar de se manterem os vários priorados Europeus, graças à protecção de reis, príncipes, bispos e da Santa Sé. Estes priorados conservaram vivos os ideais dos Cavaleiros Cruzados: propagação da Fé, defesa dos fracos, caridade para com qualquer ser humano. Com excepção das intervenções em Espanha, só raramente os Cavaleiros do Santo Sepulcro tomaram parte em acções militares de defesa da Cristandade.

No século XIV, a Santa Sé teve que fazer um elevado pagamento ao Sultão do Egipto para que este permitisse que fossem os frades Franciscanos a proteger os Santuários Cristãos. Durante todo o período em que o Patriarcado Latino esteve vacante, o direito de criar novos Cavaleiros foi uma prerrogativa do representante da maior autoridade Católica na Terra Santa, o Custódio da Terra Santa.

Em 1847, o Patriarcado foi restaurado e o Papa Pio IX modernizou a Ordem, dando-lhe uma nova Constituição, pela qual colocava a Ordem sob protecção directa da Santa Sé e conferia o seu governo ao Patriarca Latino. O papel fundamental da Ordem ficou também definido: ajudar nas obras do Patriarcado Latino de Jerusalém, preservando a obrigação espiritual de propagar a Fé.

Em 1949, o Papa Pio XII decretou que o Grão-Mestre da Ordem deveria ser um Cardeal da Santa Igreja de Roma, designando o Patriarca Latino de Jerusalém como Grão Prior. Em 1962, o Papa João XXIII e, em 1967, o Papa Paulo VI reorganizaram e revitalizaram a Ordem, acrescentando regulações específicas à sua Constituição, com a intenção de tornar as actividades da Ordem mais coordenadas e mais efectivas.

Em Fevereiro de 1996, o Sumo Pontífice João Paulo II aumentou o estatuto da Ordem. Hoje, é uma Associação Pública de fiéis com personalidade jurídica canónica e pública, constituída pela Santa Sé ao abrigo da Lei Canónica 312, parágrafo 1:1.

Acima das conotações históricas e da sua evolução ao longo dos tempos, os aspectos meritórios e interessantes da Ordem, actualmente, assentam no papel que lhe foi atribuído, o qual prossegue na esfera da Igreja Católica, e pela sua estrutura administrativa e organização local em diversas comunidades.