Nimensä perusteella Hurskasvuorta voisi luulla hyvinkin kristityksi alueeksi. Sana hurskas on kuitenkin ennen tarkoittanut hurjaa, hillitöntä, rajua, rohkeata ja hyvin iloista. Tässä mielessä nimi kuvaisi melko hyvin vuoren hillitöntä historiaa helavalkeinen. Kirkollisesti hyvänä ja oikeana pidetty käytös on sen sijaan vanhurskautta eli hurskauden vastaista käyttäytymistä. Etuliite van (alunperin vaka) on vain nykyään jäänyt usein pois. Käyttö tosin ollut kauan häilyvää. Jos kuitenkin hurskas tarkoittaakin tässä yhteydessä todella vanhurskasta, vuori on voinut liittyä kristillisyyden tuloon paikkakunnalle. Vieressähän on Narvan kauppapaikka, useita rautakautisia hauta-alueita (hiisiä) sekä Narvan lähetyskautinen hauta-alue.
Hurskasvuoren nimellä on ollut kautta aikojen monia selityksiä. Vuoren harvinaisempi mutta vanhan kansan mukaan alkuperäisempi nimitys on Urkasvuori. Urkasvuori -nimi olisi johtunut joko uhripaikasta tai urkkimispaikasta. Vironkielen 'urang' taas merkitsee korkeampien kohtien välistä notkoa, jollainen Hurskasvuoressa todella on. Viron 'urakas' on 'kuoppainen'. Tämä sana saattaisi kuvata esimerkiksi lounaisosan rosopintaista avokalliota. Yhteydet vironkieleen vaikuttavat kuitenkin teennäisiltä.
Nimi Urkasvuori saattaa johtua vain merkityksestä raja. Hurskasvuori on nykyään Narvan (Poukan) ja Kostialan (Alasen eli Hyvätin) rajavuori. Vuoren kaakkoispuolella alkaa Toivolan kylä. Raja -sana on slaavilainen laina eikä ole ollut ehkä ollut kovin pitkään tunnettu. Sen tilalla on käytetty sanaa urkas. Alun perin rajana on voinut olla sekä kirjaimellisesti että sanana ura. Urkasvuori, urakasvuori olisi siis rajavuori. Raja on selvä 1700-luvun kartoissa, mutta isojaon jälkeen rajaa on muutettu hieman myötäpäivää, jolloin rajalle on ilmestynyt myös kiviaita.
Koska Kostiala tunnetaan vahvana kylänä jo 1500-luvulla, on ilmeistä, että Hurskasvuori rajavuorena juontaa alkunsa jo rautakaudelta. Vuoren koillispuolella on Kostialan kylä, jossa on ollut samanniminen talo, joka sitten jakautui Ala- ja Ylä-Mäkeläksi. Kylän kuuluisin talo on ollut Kippari. Nimi Kippari merkitsee vesitien varrella ollutta majataloa ja anniskelupaikkaa (skippari), jollaisia oli yleisesti 1500-luvulla. Talo salavalkamineen on ollut sopivalla paikalla Narvan edustalla talviteiden ja vesireittien majataloksi. 1680-luvun rippikirjassa Kipparin nimi esiintyy muodossa Skipparila. Talon ensimmäiset isännät olivat Antti, Niilo, Lauri Niilonpoika ja Martti Seppä. Vesilahden kirkkoherra Jacobus Matthiae hankki vuonna 1588 tilan itselleen ja viljeli sitä lampuotiensa avulla. Lopulta poika Yrjö tuli Kipparin isännäksi. Kippari siirrettiin oletettavasti isossajaossa 1800-luvun alkupuolella Toivolanjoen itäpuolelle.
1900-luvun alulle saakka korkeamman vuoren sileä kallioalue oli suosittu kokoontumis- ja piirileikkipaikka, jonne tultiin kaukaakin. Yleensä kokoonnuttiin kevätsunnuntaisin Juhannukseen asti. Helavalkeita poltettiin 1900-luvun alulle asti. Vuoren rinteillä oli aina myös suuri kyläkeinu. Pikkupoikien leikkipaikkana vuori on ollut aina.
Ensimmäisen maailmansodan aikoina venäläiset varustautuivat Suomen alueella lännestä tulevaa vihollista vastaan. Vesilahdessa Pietarin turvaksi tarkoitettuja linnoitteita rakennettiin (1916) Ylämäen Harjulaan sekä Narvaan linjalle Ihkamäki-Punkari-Hurskasvuori-Poukka. Koska Narvassa yhtyivät Tottijärveltä, Vammalasta ja Turun suunnalta tulevat tiet, alue oli taktisesti hyvin tärkeä risteys ja alue piti linnoittaa ainakin rykmentin kokoisen joukon taistelua varten. Rakennustyömaa oli ajan mittapuun mukaan suuri. Työnjohto oli venäläistä ja laajalta alueelta koottiin yli 200 suomalaista työntekijää. Osaa työntekijöistä on haastateltu. Työtahti ei ollut kovin ripeää, ja dynamiittia käytettiin haaskaten. Värsynikkarit keksivät työntekijöistä riimejä: "Tuli Seliini, tuli Lindelli, tuli hiusten klippari Viikmanni ja tuli vielä Otto Jokela, toi patteritöiden kokelas."
Linnoitteet jäivät käyttämättömiksi alkuperäisessä tarkoituksessaan, mutta kerrotaan, että vuoden 1918 taisteluissa vuorella oli punaisten tykki. Pelloille rakennetut katetut, puuvahvisteiset juoksuhaudat purettiin ja tukittiin melko pian 1920-luvun alussa, mutta metsissä ja vuorilla sijaitsevat linnoitteet ovat säilyneet melko hyvin. Hurskasvuoressa on nähtävissä ehkä kaikkiaan yli kilometri juoksuhautoja ja pienin välimatkoin sijaitsevia kuularuiskupesäkkeitä. Ylempänä kalliolla on suurilla räjähdyspanoksilla louhittuja lintaasimonttuja eli korsuja, joiden puiset katerakennelmat on purettu tai lahonneet. Suosittu piirileikkipaikkakin rikottiin juoksuhautoja tehtäessä.
1920-luvulla Narvan Soittokunta siirsi perinteisen Vapunpäivän konserttinsa paljaaksi hakatun Hurskasvuoren laelle pariksi kymmeneksi vuodeksi. Uskomusten mukaan tulisi kato, ellei Vapun soittajaisia pidettäisi. Kun puusto kasvoi, konsertti siirrettiin takaisin Narvan Tuulikalliolle.
Keuruun Pioneeripataljoona entisti Hurskasvuoren laella toisen suurista korsuista, osan juoksuhautaa sekä miehistönsuojan vuonna 1985. Korsu oli sen jälkeen jonkun aikaa sotaveteraanien hoidossa, mutta nykyään koko aluetta on hoitanut Museovirasto.
Hurskasvuoren itäpuolella virtaavan Toivolanjoen mahtavaan rantakiveen Matti Mäkelä hakkasi tulvakesän 1899 veden korkeutta osoittavan viivan, joka on nyt n. 2 metrin korkeudella. Kyläläiset ristivät kuitenkin viivan helmikuun manifestiin viitaten valapattoviivaksi (Nikolai II).
Hurskasvuoren ja Kostialan eteläpuolella on Toivolan kylä, jossa mm. salaperäinen Huhkamonkolu.
I maailmansodan aikainen entistämätön korsu
Juoksuhautoja
Entistetty juoksuhaudan ampumapesäke.
Hurskasvuori ja Narvan ja Kostialan raja 1780-luvun isojakokartassa. Raja kääntyi hieman uusjaossa. Oikealla Kostialan Ala-Mäkelä.
Narvan ja Kostialan rajana toimiva kiviaita, joka on rakennettu joskus isojaon
jälkeen.
Pikkupojat rakensivat 1960-luvulla vuoreen näkötornin - salaa tietenkin. Joku ehti ottamaan sieltä nyt jo haalistuneen diakuvan Narvaan päin.