Au XVIe siècle, où vivait une partie de l'élite comtoise et des négociants d'envergure, de nombreux monuments ont vu le jour : l'église Notre-Dame, l'hôtel de ville, l'escalier tournant de la tour Saint-Pierre Fourier. La solidité de ses murailles attira au XVIIe siècle de nombreux couvents qui participèrent à l'enrichissement de la ville.