Proti kostelu sv. Matěje v Horšicích se nachází rozsáhlý komplex barokních budov někdejšího panského dvora. Největší hodnotu má průčelní přízemní dlouhá fronta se střední obytnou částí, jež je kryta mansardovou střechou. Dále jsou zde stáje a staré stodoly. Dominantní je dvoupatrová budova barokní sýpky s mansardovou střechou a mohutnými opěráky. Okénka stavby jsou nízká, obdélná, uvnitř najdeme trámové stropy.
Sýpka je tradičně považována za přestavěnou tvrz. Budova ovšem nevykazuje žádné známky přestavby, proto se uvažuje spíše o tom, že původní goticko-renesanční tvrz zřejmě stávala před sýpkou vlevo od dnešního vjezdu, kde její ruiny zaznamenala mapa ze začátku 19. století. Zbytky tvrze byly pravděpodobně postupně rozebírány jako stavební materiál. Objekt sýpky je dlouhodobě neudržovaný a je ve špatném stavu.
