Klášter se špitálem nechal založit první z Trauttmansdorffů, Maxmilián, který je zde také pohřben. Výstavba klášterů řádu kapucínů podléhala vždy přísným regulím, architektonická podoba staveb byla daná. Stavbu řídil Vít ze Strasburku. Základní kámen ke stavbě byl tak po dlouhých přípravách položen roku 1650, tedy až po smrti Maxmiliána. Již o čtyři roky později byl dokončen kostel dnes zasvěcený světcům Vítovi, Václavu a Vojtěchovi. Klášter byl zrušen Josefem II., krátce poté byl ale znovu obnoven. Přestavěn byl v 19. století, další úpravy následovaly roku 1911. Trauttmansdorffové zde měli hrobku, ostatky však byly po roce 1842 převezeny do hrobky nové, v kostele sv. Anny na Vršíčku. 20. století znamenalo konec slávy kláštera. Kapucíni opustili město za druhé světové války a definitivně po zrušení kláštera roku 1950. Klášter chátral, konvent sloužil jako sklad domácích potřeb, část byla změněna na byty. Kostel byl ještě v 90. letech 20. století prázdný a nevyužívaný. Dnes patří komplex městu. Před klášterním kostelem stojí kaplička P. Marie z druhé poloviny 18. století
