Początki istnienia Cmentarza Garnizonowy ściśle wiążą się z powstaniem grudziądzkiej cytadeli. Architekci twierdzy nie zaplanowali w jej pobliżu żadnej nekropolii wojskowej. Pierwsze pochówki żołnierzy odbywały się w suchej fosie cytadeli. Impulsem do budowy cmentarza „fortecznego” stała się wojna francusko-pruska prowadzona w latach 1806-1807. Pruscy obrońcy cytadeli (w tym liczni Polacy wcieleni do armii pruskiej) zamknięci w obleganej twierdzy zostali dotknięci epidemią chorób zakaźnych, która spowodowała dużą śmiertelność wśród załogi. Pochówki zmarłych w fosie okazały się fatalne w skutkach – najprawdopodobniej doszło do zatrucia wód gruntowych oraz studni, z których czerpano wodę do picia. W tej sytuacji jedynym wyjściem było przygotowanie miejsca na pochówki poza murami cytadeli.
Krótkotrwałe wstrzymanie walk dla pochowania poległych i zaopatrzenia rannych od wieków wpisane było w kodeks wojenny. Także i podczas oblężenia cytadeli takie rozejmy wykorzystywano do grzebania zmarłych. Załoga cytadeli już w połowie 1807 roku zaczęła chować zmarłych towarzyszy broni na terenie dzisiejszego Górnego Cmentarza Garnizonowego. Plac pod wojenną nekropolię został przygotowany na przełomie maja i czerwca 1807 roku. Na mapie autorstwa Alexandra von Lynckera datowanej na 12 listopada 1807 roku teren jest już oznaczony jako czynny cmentarz.
Od początku swego istnienia cmentarz był miejscem pochówku wszystkich osób mieszkających lub służących na cytadeli – żołnierzy, cywili, ale także jeńców czy więźniów. W grudziądzkiej twierdzy internowani byli polscy żołnierze – uczestnicy powstania listopadowego. Więzieni w fatalnych warunkach zmarli, a ich ciała spoczęły na Górnym Cmentarzu Garnizonowym. Miejsca ich dokładnego pochówku niestety nie sposób dziś ustalić.
Najstarszym opisanym grobem Cmentarza Garnizonowego Górnego istniejącym do dziś jest pięcioosobowa mogiła żołnierzy zabitych wybuchem granatu w dniu 2 czerwca 1881 roku. Do dziś zachowała się tablica jednego z nich – Richarda Schmida, kapitana pruskiej artylerii.
Ogółem na tym cmentarzu do dnia dzisiejszego zachowało się 6 nagrobków z drugiej połowy XIX wieku i 60 z początku XX wieku. Znajdziemy tu jeszcze 3 nagrobne płyty i 11 mogił. Tylko jeden nagrobek pochodzi z drugiej połowy XX wieku. W lustracji z 1922 roku na cmentarzu stwierdzono nagrobki: 22 oficerów i 20 żołnierzy niemieckich oraz 13 oficerów polskich.
Warto wspomnieć, że przy Cmentarzu Garnizonowym Górnym znajdował się pomnik poświęcony poległym żołnierzom z pruskiego 44 Regimentu Piechoty.