Horšov leží 2 km severozápadně od Horšovského Týna. První zmínka o Horšově je z roku 1184, Horšov byl centrem panství pražských biskupů. Před založením hradu Horšovský Týn zde sídlili zástupci pražského biskupa, arcijáhnové. U jejich patrně opevněného dvorce stál tribunový pozdně románský kostel Všech svatých. Biskupové zajížděli do Horšova jen výjimečně, zpravidla při cestě do Regensburgu (Řezna). Po polovině 13. století byl založen nový biskupský hrad v místě, které dostalo název Horšovský Týn. Ten měl výhodnější strategickou polohu u zemské stezky při řece Radbuze. Arcijáhnové se odstěhovali do nového dvorce na pravém břehu Radbuzy, nedaleko nového hradu.
Původní dvorec v Horšově byl používán jako tvrz, na které sídlil nápravník. Z tvrze se dnes nedochovalo nic. Její zdivo bylo použito při stavbě zdi obory, kterou v Horšově v 16. století založili Lobkovicové.
Německé obyvatelstvo Horšova bylo po roce 1945 odsunuto, kostel i gloriet se začaly rozpadat. Sudetští Němci vyprávěli, že z jednoho ze selských dvorů vedla až k Annaburgu podzemní chodba do té doby, než poslední držitelka statku nechala vchod zazdít. Kostel Všech svatých se nakonec díky svému významu dočkal opravy, gloriet však zchátral natolik, že se v 90. letech zřítil.
Z dochované lidové architektury ve vlastním Horšově jmenuje K. Foud jako hodnotné bývalou fořtovnu čp. 2. U čp. 7 se dochoval patrový špýchar s chlévem, v čp. 8 patrový špýchar.
