A város központjától alig 5 percnyi járásra, a Kossuth és a Mátrai út sarkánál található az Orczy-kastély és a hozzá tartozó park. A kastélyt eredetileg barokk stílusban Orczy István építtette a XVIII. század elején. 1826-ban unokája, Orczy Lőrinc klasszicista stílusban átépíttette, ekkor nyerte el az épület mai formáját. A monumentális, ugyanakkor mégis finom, harmonikus megjelenésű épület - amelynek egykor vendége volt I. Sándor cár, Kossuth Lajos és Görgey is - ma a Mátra Múzeumnak ad otthont. Természettudományi kiállítás mutatja be a Mátra-vidék élővilágát, földtörténeti múltját és jelenét, de bepillantást nyerhetünk Gyöngyös történelmébe, a táj népének munkájába, kultúrájába is. A park egyidős a kastéllyal. Jelenleg 57 fajhoz tartozó mintegy 430 fa és cserje él benne, amelyek szinte minden földrészt képviselnek. Közülük legismertebbek a több száz éves tiszafák, valamint egy hatalmas törökmogyoró, amely 430 cm-es törzskerületével hazánk legnagyobb példánya.