Żyło kiedyś w Toruniu dwóch braci tak bardzo skłóconych ze sobą, że budziło to zgorszenie mieszkańców. Bracia byli kupcami i często wyruszali w dalekie rejsy handlowe. Kiedy jeden z nich wypływał, drugi w porcie życzył mu wzburzonego morza i samych nieszczęść.
Niezadowolony z gniewu braci był toruński burmistrz, zastanawiał się nad tym, w jaki sposób ich pogodzić. Nadarzyła się właśnie okazja, gdyż przystąpiono do budowy murów miejskich, bram i baszt. Do pomocy byli zobowiązani wszyscy, bez wyjątku, mieszczanie. Każdemu przydzielono odpowiednie zadanie. Jedni dostarczali cegły z podmiejskich cegielni, drudzy mieszali wapno, a jeszcze inni murowali i wznosili umocnienia miejskie.
Burmistrz nakazał skłóconym braciom wspólnie wybudować wieżę obronną z myślą o tym, że praca przy budowie z pewnością ich pogodzi. Niestety, murowali odwróceni tyłem, nie przemówili do siebie ani jednego słowa i unikali spojrzenia w oczy. W tej sytuacji trudno im było wybudować proste mury, gdyż każdy z nich chciał jak najprędzej ukończyć swoją ścianę, nie porównując ją z tą, którą wznosił brat.
Torunianie, widząc tak nieudane dzieło, byli niezadowoleni z pracy, oraz z ich krzywej baszty. Burmistrz widząc, ze jego plan pogodzenia braci nie powiódł się, rozgniewał się do tego stopnia, że rzucił na nich zaklęcie i zakazał im za karę opuszczać Krzywą Wieżę, której pochyłe ściany każdy z nich musiał podpierać.
Od tej chwili duchy zaklętych braci tkwią w krzywych murach baszty i jak za ich życia są również po śmierci rozdzieleni, każdy w oddzielnym murze. Z pewnością jest im smutno, gdyż nie mogą sobie podać rąk na zgodę i niestety nigdy nie będzie im to dane.