Gotická věž, o níž existuje zmínka z r. 1497, patřila k původnímu hradnímu opevnění. O jejím účelu vypovídá poloha a mohutná stavba. Během husitských válek byla poškozena spolu s obranným opevněním města.
V r. 1497 se obec odhodlala k výstavbě nové hranolovité věže. Šlo o nákladný podnik, věž vyrostla až do výše šestnácti sáhů (asi 30 metrů). Vchod byl vybudován v prvním poschodí, k němuž se zvenku přistavovaly dřevěné schody, které se v případě nebezpečí mohly snadno a rychle odstranit. Průchod do druhého patra je tak úzký, že mohl být rychle zazděn nebo zabarikádován. Kdy byla stavba dokončena, nevíme. Omítnuta a nabílena byla za primátorství Jiříka Lešenského.
Sotva k tomu došlo, udeřil do věže na den sv. Anny r. 1604 blesk a zapálil ji. Potom, až do r. 1681, ji přikrývala jen chatrná stříška. Lepší střechou byla osazena až za zvláštní pomoci knížete Ferdinanda z Dietrichsteina.
V této podobě zůstala věž do velkého ohně v r. 1767, kdy vyhořela zároveň s kostelem a její zvony se žárem roztavily. S nimi se roztavil i hodinový stroj, takže přestaly jít věžní hodiny, které v té době ukazovaly čas celému městu.
Věž přišla při požáru o střechu, na jejíž pořízení město opět nemělo dost finančních prostředků. Po předešlých válkách a neštěstích bylo finančně značně vyčerpané. V r. 1791 se proto přibyslavští občané obrátili k majiteli panství se žádostí, aby byla věž opravena. Správa panství toto odmítla a nabízela pouze peněžní příspěvek a stavební materiál.
V r. 1803 město přistoupilo k opravě především na vlastní náklady. Zdi byly nahoře ohněm značně poškozené a tak asi tři sáhy museli ubourat. Šlo o prostor, v němž až do požáru města bydlel hlásný, jenž tak přišel o své skromné bydlení.
Věžní hodiny jsou nezvykle umístěné v horní polovině oken právě kvůli snížení původní stavby. Nad ně se totiž nevešly a pod nimi nebyly vidět ze všech stran a míst ve městě.
V r. 1841 dostala věž novou krytinu a v r. 1878 byl instalován bleskosvod.
Jednociferníkovité věžní hodiny, které ukazovaly spolehlivě čas od r. 1803, dosloužily. Roku 1882 došlo k výměně za nové, trojciferníkové, vyrobené na zakázku hodinářem Janem Prokešem ze Sobotky.
Během let starý hodinový stroj a ciferníky nahradilo nové zařízení. V současnosti už nemusí pověřená osoba hodiny natahovat, do pohybu je uvádí elektrický proud.
Roku 1994 byly vysvěceny nové věžní zvony.
V loňském roce prošla věž rozsáhlou rekonstrukcí.
V r. 1497 se obec odhodlala k výstavbě nové hranolovité věže. Šlo o nákladný podnik, věž vyrostla až do výše šestnácti sáhů (asi 30 metrů). Vchod byl vybudován v prvním poschodí, k němuž se zvenku přistavovaly dřevěné schody, které se v případě nebezpečí mohly snadno a rychle odstranit. Průchod do druhého patra je tak úzký, že mohl být rychle zazděn nebo zabarikádován. Kdy byla stavba dokončena, nevíme. Omítnuta a nabílena byla za primátorství Jiříka Lešenského.
Sotva k tomu došlo, udeřil do věže na den sv. Anny r. 1604 blesk a zapálil ji. Potom, až do r. 1681, ji přikrývala jen chatrná stříška. Lepší střechou byla osazena až za zvláštní pomoci knížete Ferdinanda z Dietrichsteina.
V této podobě zůstala věž do velkého ohně v r. 1767, kdy vyhořela zároveň s kostelem a její zvony se žárem roztavily. S nimi se roztavil i hodinový stroj, takže přestaly jít věžní hodiny, které v té době ukazovaly čas celému městu.
Věž přišla při požáru o střechu, na jejíž pořízení město opět nemělo dost finančních prostředků. Po předešlých válkách a neštěstích bylo finančně značně vyčerpané. V r. 1791 se proto přibyslavští občané obrátili k majiteli panství se žádostí, aby byla věž opravena. Správa panství toto odmítla a nabízela pouze peněžní příspěvek a stavební materiál.
V r. 1803 město přistoupilo k opravě především na vlastní náklady. Zdi byly nahoře ohněm značně poškozené a tak asi tři sáhy museli ubourat. Šlo o prostor, v němž až do požáru města bydlel hlásný, jenž tak přišel o své skromné bydlení.
Věžní hodiny jsou nezvykle umístěné v horní polovině oken právě kvůli snížení původní stavby. Nad ně se totiž nevešly a pod nimi nebyly vidět ze všech stran a míst ve městě.
V r. 1841 dostala věž novou krytinu a v r. 1878 byl instalován bleskosvod.
Jednociferníkovité věžní hodiny, které ukazovaly spolehlivě čas od r. 1803, dosloužily. Roku 1882 došlo k výměně za nové, trojciferníkové, vyrobené na zakázku hodinářem Janem Prokešem ze Sobotky.
Během let starý hodinový stroj a ciferníky nahradilo nové zařízení. V současnosti už nemusí pověřená osoba hodiny natahovat, do pohybu je uvádí elektrický proud.
Roku 1994 byly vysvěceny nové věžní zvony.
V loňském roce prošla věž rozsáhlou rekonstrukcí.

Podle knihy Lucie Markové Přibyslav

Jaj človek by sa zatúlal kdekoľvek. Len kde na to vziať. Krásne miesto, mne sa proste páči asi všade