A hegység területén az évmilliók során a tenger előrenyomulása és visszahúzódása volt jellemző. A tenger uralmának végét a miocén vulkánosság jellemezte. A vulkánosság csendesedésével a tenger ismét előrenyomult, de a hegységet mér nem tudta elborítani. Az ezt követő csendesebb évmilliók során a tönkösödés, az eredeti formák pusztulása, a tönkösödött részek kiemelkedése és a törések mentén a feldarabolása következett.
A Mátra vulkáni felépítése nem kedvezett az ősmaradványok megőrzésének, a peremterületeken azonban látványos maradványokat találunk mind Szurdokpüspökiben a kovaföldbánya területén, mind távolabb Mátraszőlős térségében. Kevésbé látványos, de igen jelentős a déli hegylábon kialakult üledékek ősmaradványegyüttese is (Rózsaszentmárton, Visonta térsége). A fennmaradt leletek, növénymaradványok, nummuliteszek, tengeri sünök, kagyló és csiga maradványok, cápa fogak, hallenyomatok, krokodilállkapocs azt bizonyítják, hogy itt valamikor meleg tenger lagúnás partja volt. A Mátra lábánál található szénkészlet pedig arra utal, hogy növényekben (fenyőfélék, éger, szil, bükk, tölgy, fűzfafélék, sulyom maradványai alapján) gazdag, mocsárerdő húzódott a miocén utolsó szakaszában e vidéken. A pleisztocénben az utolsó jégkorszak idején már a hűvös klíma uralkodott a hegységben. Számos élőlény maradványa bizonyítja melyek között a leghíresebb lelet a Mátraderecske térségében talált szinte teljesen ép mamut csontváza. Ekkor élt hazánk területén a barlangi medve, barlangi oroszlán, barlangi hiéna, rozsomák, rénszarvas, jávorszarvas, ősbivaly, farkas, róka, hiúz, vadmacska. Ezen időszakot fokozatosan fölváltotta a mai időszakra jellemző klíma s ezt követte a megfelelő növénytakaró kialakulása.