Les origines de ce cimetière transféré sur son site actuel depuis 1777 sont anciennes et façonnent une généalogie complexe liée à la construction des différentes églises, de la paroisse Saint-Julien à celle de Notre-Dame. Le cimetière primitif de Versailles se situait autour de la première église médiévale de l’ancien village consacrée à Saint-Julien de Brioude, située à l’angle de l’actuelle rue Saint-Julien. Démolie par Louis XIV lors de la construction du Grand Commun, elle est remplacée par une seconde église placée sous le même vocable de Saint-Julien, édifiée entre 1678 et 1682 sur une terre donnée par le roi, à l’ouest de l’actuelle rue Sainte-Geneviève : une construction modeste, à caractère provisoire, bientôt dénommée la « vieille église » en attendant l’achèvement de l’église Notre-Dame, plus digne de la nouvelle paroisse royale. L’ancien cimetière est déplacé en conséquence à côté de Saint-Julien, au milieu du terrain limité au sud par les maisons de la rue de la Paroisse et au nord par un mur longeant le quai de l’étang de Clagny. Il est accessible par un passage séparant l’église Notre-Dame de celle de Saint-Julien.
En raison de son exiguité et de la proximité des habitations, un arrêt du Conseil du roi du 2 mars 1777 ordonne sa fermeture et l’établissement du nouveau cimetière paroissial, hors les murs de la Ville, sur un terrain dépendant de la ferme de Glatigny donné par Louis XVI à la Fabrique de Notre-Dame.A partir de la rue Neuve, la communication du quartier des Prés et du nouveau cimetière avec la paroisse est assurée par le percement de la rue Saint-Lazare en 1777. Les convois funèbres empruntent la rue Mademoiselle puis celle des Missionnaires : elle s’arrête alors à la perpendiculaire du mur occidental du cimetière dont elle forme l’entrée et la partie sud du cimetière est rectifiée en 1787 pour permettre le prolongement de la rue vers l’est.
Conformément aux dispositions du décret du 23 prairial an XII puis de l’ordonnance du 6 décembre 1843, le cimetière passe dans le domaine communal. Devenu rapidement insuffisant, il est successivement agrandi en 1845 (4425 m²) et 1854 (plus d’un hectare). Un dernier terrain de 8017 m², situé rue des Marais (rue du Colonel-de-Bange), est acquis par la Ville en 1864. Après les protestations des riverains et plusieurs années de procédures contentieuses jusqu’à un arrêt du Conseil d’Etat de 1880, elle n’est pas autorisée à l’annexer, le terrain n’étant pas à distance règlementaire des constructions les plus proches.
Une petite parcelle de 364 m², longeant l’ouest du cimetière et aboutissant au carrefour Saint-Antoine, est aliénée par la Ville en 1913 au bénéfice de la propriétaire riveraine : interdite aux inhumations, elle servait jusque-là de jardin au conservateur. En raison du développement urbain et Démographique du quartier Notre-Dame, il a fallu fermer le cimetière aux sépultures en terrain ordinaire pour le réserver exclusivement à celles en terrain de concessions à partir de 1897
Au terme d’un arrêté municipal du 26 novembre 1954, aucune concession nouvelle de terrain n’est plus délivrée et le renouvellement des concessions venant à expiration limité à dix années renouvelables.
En 1982, à l’issue des opérations de reprises de concessions abandonnées ou en ruines, dont la liste précise est établie par cantons, le cimetière est restructuré, son entretien et sa circulation facilités. Un ossuaire est créé par décision municipale en 1986 sur le modèle de celui déjà construit au cimetière Saint-Louis six ans auparavant. La liste des personnes réinhumées
dans ces deux ossuaires a fait l’objet d’une mise à jour par la Direction des Espaces verts de la Ville en février 2011.