Kiedy na zaproszenie księcia Konrada Mazowieckiego przybyli na Ziemię Chełmińską Rycerze Krzyżowi, aby nawracać pogańskich Prusów, założyli miasto Toruń, a obok miasta wznieśli swój zamek zakonny. Książę nadał rycerzom niemieckim część terenu Kujaw na lewym brzegu Wisły zwaną "Ziemią Nieszawską", oraz całą ziemię Chełmińską leżącą między rzekami: Wisłą, Osą i Drwęcą. Powstały piękne miasta i wsie. Mieszkańcom żyło się spokojnie i dobrze, ponieważ z tych terenów zostali wyparci Prusowie.
Po pewnym czasie spokój został zakłócony, gdyż wielki mistrz krzyżacki prowadził wojny z królem polskim. Po krwawej wojnie zawarto pokój wieczysty w roku 1422, na mocy którego Krzyżacy zostali zmuszeni do zwrotu na rzecz Polski ziemi nieszawskiej leżącej na Kujawach po przeciwnej stronie Torunia. Król Władysław Jagiełło wydał polecenie, aby na tym terenie wybudować zamek, który byłby strażnicą polską przeciwko krzyżackiemu Toruniowi. Z czasem obok zamku zaczęła się rozwijać osada, która przyjęła nazwę Nowa Nieszawa, a następnie Dybów. Podobno w Dybowie karano za najmniejsze przewinienie, między innymi zamykaniem w dyby. Był to rodzaj pręgierza, składający się z dwóch drewnianych kłód z wycięciem na nogi lub ręce. Stosowano to narzędzie kary wobec chłopów i mieszczan. Zamek z roku na rok rozrastał się w silną, warowną fortecę, a mała osada w port handlowy.
Torunianie wrogo spoglądali na groźnego konkurenta, z powodu którego ich sakiewki stawały się skromniejsze. Poważnie zaczęto myśleć o zniszczeniu Dybowa i podstępnie zaczęli podkopywać się pod Wisłą, budując tunel w kierunku Nowej Nieszawy czyli Dybowa. Aby jednak kopanie tunelu zachować w tajemnicy, wykorzystano okazję, kiedy władze miejskie w roku 1407 podjęły decyzję w sprawie budowy wieży przy kościele farnym św. Jana. Wówczas zdecydowano, że tunel będzie miał swój początek w kościele pod wieżą i skierują go w stronę Dybowa, co podobno miało się stać zgodnie z legendą, a może i prawdą. Po kilku latach żmudnej pracy dokopali się torunianie na drugi brzeg Wisły niedaleko zamku i przygotowywali się do ataku.
Pewnej nocy w roku 1431 zebrali się toruńscy mieszczanie, oraz rycerze krzyżaccy z toruńskiego konwentu pod wodzą komtura. Wykopanym tunelem pod Wisłą, dotarli na lewy brzeg i pod osłoną nocy napadli na nieliczną załogę, zdobywając zamek, a następnie całą konkurencyjną osadę. Ten fakt zapoczątkował następną wojnę, która trwała do 1435 roku. Zakończona została układem pokojowym w Brześciu Kujawskim, na mocy którego Nieszawa z Dybowem już na zawsze wróciła do Polski.
Tajemniczy tunel pod Wisłą z Torunia do Dybowa jeszcze raz podobno wykorzystano, kiedy to w roku 1813 w ruinach zamkowych Dybowa broniło się 40 Francuzów przez 3 miesiące przed Rosjanami. Ta skromna załoga wytrzymała liczne ataki wojsk rosyjskich tylko dlatego, gdyż załodze dostarczano z Torunia tajemniczym tunelem żywność, świeżą wodę i amunicję. Była to jedyna droga, która łączyła lewy brzeg z prawobrzeżną fortecą toruńską.
Z czasem zapomniano o tajemniczym tunelu, jednak niezupełnie, gdyż w ostatnich latach zebrała się grupa poszukiwaczy, która miała nadzieję, że trafi na ślad dawnego podziemnego ganku.