Située à la jonction des deux rivières qui ont évidé l'éperon langrois, la colline des Fourches est dominée par une butte témoin, surmontée d'une statue de la Vierge. Celle-ci garde dans sa dénomination le souvenir des gibets que l'on pouvait voir jusqu'à la Révolution. Le sommet de ce lieu d'exécution était alors dépourvu d'arbres. Les tristes et lugubres silhouettes des « fourches » se voyaient donc à plusieurs kilomètres à la ronde et jouaient un rôle exemplaire...
Aujourd'hui, cette colline est devenue un lieu de dévotion religieuse. Elle accueille une chapelle dont le dôme supporte une statue colossale de la Vierge, coulée dans le nord du département, à Sommevoire. De style néogothique, elle a été édifiée par les Langrois en 1873, en remerciement à Marie. Ils respectèrent ainsi leur voeu contracté pendant la guerre de 1870 prévoyant sa construction si la ville échappait à l'entrée des Prussiens. C'est pourquoi elle est dédiée à Notre-Dame de la Délivrance. L'histoire raconte en effet que le 16 novembre1870, des détachements prussiens arrivèrent à proximité de Langres, occupant les villages alentours : Champigny, Peigney, Jorquenay et Hûmes. Militaires et habitants se préparèrent alors à un éventuel siège, plusieurs coups de canons furent tirés depuis les remparts. Mais le lendemain, l'ennemi s'était retiré. La même histoire se renouvela le 16 décembre et le 16 janvier. Puis la guerre pris fin, sans que Langres ne subisse ni siège, ni destruction. Pour la population locale, la protection de la Vierge était évidente et le voeu exaucé. La chapelle fut construite sur les plans de l'architecte Girard. De plan octogonale et mesurant 18m de hauteur, elle est décorée d'un vitrail qui représente le voeu de la ville de Langres à la Vierge. Parmi les personnages, on reconnait un évêque, un prêtre ainsi qu'un couple, homme et femme. La bénédiction et l'inauguration eurent lieu le 25 mai, au cours d'une cérémonie grandiose qui rassembla quelques 25000 personnes, dont les autorités civiles et militaires. Depuis ce jour, chaque fois que le 24 mai tombe un dimanche, une grande fête religieuse est organisée. Le 20 mai 1901, un grand calvaire fut placé aux abords de la chapelle. Dans les années 50, sur demande du chanoine Turlure, les plaques portant les noms des soldats langrois morts durant les guerres de 1914-1918 et 1939-1945 y sont installées.