A régészeti leletek tanúsága szerint a Gölnic völgyében már a kőkorszakban, majd a bronzkorban is éltek emberek. A várost német aranybányászok alapították a 12. században. A város a tatárjárást követően indult igazán fejlődésnek, miután Bajorországból, Türingiából és a Rajna-vidékről német telepesek érkeztek az elpusztított lakosság helyére. Gölnicbánya csakhamar a környező bányásztelepülések központja lett. Először 1246-ban említi oklevél "Gylnychbanya" néven. 1264-ben IV. Bélától kapta városi jogait. Ezeket később V. István és IV. László is megerősítette. 1276-ban "Gelnic", 1280-ban "Gulnychbana", 1379-ben "Gulnicia, Gulnych" a neve. Gölnicbánya vidéke a 13. században közigazgatásilag nem a Szepességhez, hanem a kamaragróf hatósága alá tartozott. A gölnic- és szomolnokbányavidéki németek közvetlen királyi hatalom alatt, a bányavárosok külön közigazgatási egységében egyesültek.
1288-ban domonkos szerzetesek építettek kolostort itt, melyet 1543-ban egy lázadás során leromboltak. Városi jogait 1317-ben Károly Róbert, 1359-ben Nagy Lajos király, majd 1435-ben Luxemburgi Zsigmond kiterjesztette, mely következtében Gölnicbánya szabad királyi város lett. A város legrégibb pecsétje 1497-ből származik.
Az óváros déli végétől nyugatra állott egykor vára, melyet 1234-ben II. András uralkodása alatt kezdtek építeni és 1436-ban említenek először. 1437. októberében Zsigmond elzálogosította Eberhard Cliber bambergi polgárnak. 1444-től Giskra zsoldosai birtokolták. A vár 1527-ben elpusztult, köveit széthordták. Ma rom Gölnicbánya területén.
A város fénykorát a 15. században élte, amikor nagy mennyiségű ezüstöt és rezet bányásztak itt, 1726-ban a Gölnic völgyében fekvő hét alsó bányaváros központja lett. Később a vastermelés került túlsúlyba. A fémfeldolgozás miatt olvasztóhámorok is működtek itt. A 19. század végére színesfémbányái kimerültek, csak vasbányászata maradt meg, mely még ma is fejlett.