Górny Cmentarz Garnizonowy już w połowie XIX wieku był zapełniony. Przy stale wzrastającej liczbie osób cywilnych związanych z cytadelą, którym przysługiwało prawo pochówku na garnizonowym cmentarzu oraz rozrastającym się garnizonie, władze wojskowe podjęły decyzje o budowie nowego cmentarza, zwanego Dolnym Cmentarzem Garnizonowym.
Rozwój Dolnego Cmentarza Garnizonowego wiąże się z okresem wojny francusko-pruskiej (1870-1871), choć najstarszy nagrobek dotyczył dwóch żołnierzy duńskich, prawdopodobnie jeńców wojennych w wojnie prusko-duńskiej z 1864 roku. W podwójnym grobie pochowano Sörena Petera Petersena z 3. Kompanii 20. Królewskiego Duńskiego Regimentu Piechoty (zm. 16 czerwca 1864 r.) oraz Nielsa Hansena Veilbye z 6 Kompanii 20. Królewskiego Duńskiego Regimentu Piechoty. Tablica nagrobna Duńczyków została przeniesiona na dziedziniec Muzeum w Grudziądzu.
Już dwa lata później na tym cmentarzu pochowano żołnierzy austriackich, którzy dostali się do niewoli pruskiej w czasie wojny roku 1866 roku. Nagrobki Austriaków nie zachowały się. Z tego samego okresu pochodzi pierwszy pochówek żołnierza pruskiego, którego ciało przetransportowano z terenu działań wojennych na grudziądzki cmentarz.
Wraz z wybuchem wojny francusko-pruskiej do grudziądzkiej twierdzy przywożono jeńców francuskich. Ogółem w twierdzy internowano 1480 francuskich żołnierzy, przy czym tylko po upadku twierdzy Metz przywieziono ponad 700 oficerów i żołnierzy armii francuskiej. Bardzo złe warunki bytowe w cytadeli, brak właściwej opieki medycznej oraz rany po bitwach spowodowały wysoką śmiertelność. Według spisu pochowano tu 52 Francuzów. Cmentarz zaczął być nazywany „francuskim”, co dodatkowo wzmacniała drewniana brama do nekropolii z kamienną płytą z inskrypcją w języku francuskim i łacińskim cytatem z Biblii: „Pamięci żołnierzy francuskich, którzy zginęli w latach 1870/71. Teraz zaś do lepszej [ojczyzny] dążą, to jest do niebieskiej. Hebr. 11,16. Ufundowano przez rodaków.” Tablica ta, nieznacznie uszkodzona, znajduje się obecnie na dziedzińcu Muzeum im. ks. dr. Władysława Łęgi.
Wybuch I wojny światowej oraz bliskość frontu wschodniego wiązały się z transportem do Grudziądza jeńców – żołnierzy armii carskiej. Pierwsze pochówki Rosjan nastąpiły jeszcze w 1914 roku. U schyłku Wielkiej Wojny w Grudziądzu zorganizowano obóz jeniecki dla oficerów armii brytyjskiej. Pierwsi jeńcy przybyli do Grudziądza w marcu 1918 roku, a ostatni opuścili miasto na początku 1919 roku. Według The Suffolk Regiment Museum przez obóz w Grudziądzu przewinęło się 600 oficerów i 800 podoficerów brytyjskich. Z tej licznej grupy zmarło i zostało pochowanych na Dolnym Cmentarzu Garnizonowym 6 podporuczników. Po zakończeniu II wojny światowej zostali oni ekshumowani i przeniesieni na Cmentarz Wojenny Wspólnoty Brytyjskiej w Poznaniu. Przez cały okres I wojny światowej na cmentarzu chowani byli polegli żołnierze pruscy, w tym mieszkańcy Grudziądza narodowości polskiej. Upamiętniono to kamiennym obeliskiem z żelazną tablicą z inskrypcją w języku niemieckim „Naszym bohaterom. 1914-1918”.
Ostatnie pochówki Dolnego Cmentarza Garnizonowego pochodzą z wojny polsko-bolszewickiej z 1920 roku. W inwentaryzacji cmentarza z 1922 roku stwierdzono obecność nagrobków: 6 oficerów angielskich, 1 żołnierza austriackiego, 592 żołnierzy niemieckich, 1 oficera i 208 żołnierzy rosyjskich, 1 żołnierza rumuńskiego, 2 oficerów i 184 żołnierzy polskich, 1 żołnierza włoskiego i 19 określonych jako NN.
Cmentarz leżący na przedpolu cytadeli został zniszczony w wyniku ostrzału artyleryjskiego w lutym i w marcu 1945 roku. Po zakończeniu II wojny światowej władze wojskowe pozostawiły zrujnowaną nekropolię bez żadnej opieki, dlatego ówcześni włodarze Grudziądza po przejęciu cmentarza zdecydowały o utworzeniu w tym miejscu trwałej zieleni.