Na základě písemných zpráv můžeme v Nezdicích hypoteticky předpokládat existenci středověkého panského sídla, fungujícího snad až do 16. století. V roce 1574 se Nezdice znovu staly na kratší dobu samostatným statkem s evidentní existencí panského sídla. To snad využilo sídlo původní. Zdejší tvrz je ovšem poprvé zmiňována až roku 1653, kdy je uváděna již jako pustá.
Pozůstatky tvrze můžeme najít v areálu hostince čp. 60. Jedná se o samostatně stojící a bohatě zdobenou přízemní stavbu se sedlovou střechou a arkádami po straně. Průčelí zdobí pravoúhlá okna s nadokenními římsami a štukovými ozdobami. Na štítu je umístěn letopočet 1893.
