La création de la paroisse Saint-Paul et la construction de l’église du même nom à partir de 1840 entraîne en novembre 1855 une demande du curé de Saint-Paul pour la création d’un cimetière à proximité. Le conseil municipal y répond favorablement et après l’achat d’un terrain les tarifs des concessions sont votés en 1859. Le cimetière connaît des agrandissements successifs au cours des dix-neuvième et vingtième siècles.
C’est en son sein que sont honorés en 1913 les enfants de la commune mort pour la patrie en 1870-1871 avec la poste d’une pierre commémorative. Le cimetière Saint-Paul accueille également un carré des rezéens et rezéennes morts pour la France durant les deux guerres mondiales, la guerre d’Indochine, la guerre d'Algérie et les combats du Maroc et de Tunisie. Une plaque en souvenir des résistants fusillés durant la Deuxième guerre mondiale a été inauguré en 2012.
Y sont notamment enterrés Ernest Sauvestre et Jean-Baptiste Vigier, maires de Rezé de 1896 à 1908 et de 1908 à 1929.