Restauracja była położona na dawniejszym przedzamczu w miejscu, gdzie obecnie znajduje się kemping. Trudno dzisiaj jednoznacznie podać dokładną datę powstanie Zamkowej. Wiadomo że po I rozbiorze Polski mieścił się w tym miejscu budynek rentamtu, czyli kwestury.
W artykule „Ogród Zamkowy” (tak nazywano dawniej restaurację Zamkową, niem. Burggarten), zamieszczonym w lokalnej gazecie „Głos Świecki” z maja 1930 r. czytamy (pisownia oryginalna):
(…) a obok Zamku pobudowany przez Fryca Starego Rentamt, z cegieł uzyskanych przez rozebranie zamku. W Rentamcie tym umieścił Fryc Stary rząd swój, a gdy Miasto Stare przebudowano, rządy te umieszczono w obecnem Starostwie. Z Rentamtu tego urządzono obecną Restaurację Zamkową. Obok Rentamtu, gdzie dziś kręgielnia jest, było więzienie (…).
Należy wspomnieć, że budynek ówczesnego starostwa, gdzie dzisiaj mieści się Urząd Miejski, budowany był w latach 1880-1885.
Z informacji zawartej w niemieckojęzycznej gazecie wydawanej w Toruniu „Thorner Presse” z 11 czerwca 1886 r. dowiadujemy się o zawodach gimnastycznych, które odbyły się przy Ogrodzie Zamkowym. W artykule wspomniano, że zawodnicy po przybyciu udali się na lunch do restauracji. Tutaj toastem przywitał sportowców ówczesny burmistrz Technau. Udział brały drużyny z różnych miast, m.in. Bydgoszczy, Torunia, Chełmna oraz gospodarzy.
Przy restauracji istniała niewielka sala gimnastyczna i działało tutaj niemieckie Towarzystwo Gimnastyczne „Jahn”.
O samym budynku wiadomo z przekazu nieżyjącego wielkiego pasjonata historii Świecia Jana Kamińskiego, że od frontu była weranda. Na parterze mieściła się największa w Świeciu sala, gdzie w czasie zaborów wystawiano sztuki teatralne i występowały chóry amatorskie.
Tutaj skupiło się życie kulturalne Polaków, którym władze pruskie zakazały wystawiać polskie sztuki w mieście, ale zezwoliły poza miastem, licząc na słabą frekwencję. Miały tutaj miejsce spotkania lokalnego Towarzystwa Przemysłowego i w późniejszym okresie Towarzystwa Gimnastycznego „Sokół”.
Istniała również mniejsza sala, która służyła m.in. do urządzania wieczorków. Na piętrze znajdowały się trzy mieszkania.
„Przyjaciel”, 14 lipca 1893 r.
Z innego wydania gazety „Thorner Presse” z 20 sierpnia 1898 r. można się dowiedzieć, że właścicielem lokalu był Perske. Restauracja miała być bardzo miłym miejscem do relaksu, zwłaszcza dla miłośników historii. Zwiedzający, oprócz podziwiania ruin zamku, mogli zobaczyć metalowe i kamienne kule armatnie. Znajdować się miały na dziedzińcu kasztelu, ale również w ogrodzie zamkowym.
Dalsze dzieje przedstawia poniższy artykuł z „Gazety Toruńskiej”:
„Gazeta Toruńska”, 21 sierpnia 1908 r.
Jak wspominał Jan Kamiński, rok 1912 był szczególny dla Zamkowej. Przygotowywano się tutaj do wystawienia sztuki „Krakowiacy i Górale”. Zaborca starał się do tego nie dopuścić, robiąc na każdym kroku trudności.
Organizatorzy załatwili przejazd od mostu saniami, które okoliczni gospodarze dostarczyli bezpłatnie. Od tamtego czasu przedstawienia teatralne wystawiano co dwa miesiące. Z ostatnich lat zaborów pozostały m.in. poniższe artykuły:
