Jan zdědil po svých předcích válku se sousedními Bavory. Záškodnictví a přepadání bylo v pohraničí po skončení husitských válek na denním pořádku. Bavorský vévoda Albrecht vyslal proti Janovi vojsko, které roku 1474 oblehlo hrad. Jan tehdy slíbil, že Bavorům přestane škodit, ale jakmile bylo nebezpečí pryč, pokračoval. Roku 1475 se Bavoři objevili pod hradem znovu a tentokrát hrad dobyli, vyplenili a rozbořili. Jan byl zajat i s celou svou rodinou a odvezen do sídla vévody Albrechta, do Straubingu (česky Štrubina) na Dunaji. Zde byl vězněn až do následujícího roku, kdy podepsal úpis na částku 1000 zlatých, kterou však nikdy nemohl při svém majetku zaplatit. Protože jeho hrad byl zcela zpustošen, přesídlil na tvrz v Lomci u Klatov. Až do konce svého života usiloval o to, aby mu Bavoři uhradili způsobenou škodu. Hrad však už nikdy nebyl obnoven.
