Johannes Schwartzbergin koti Pyhäjärven kappalaisen pappilassa oli syvästi uskonnollinen. Nuorena kuollut isä oli innokas herännäispappi ja äiti, runoilija Lauri Stenbäckin sisar, oli myös nuoruudestaan asti heränneitä. Niinpä poika saikin herännäisyydestä lähtemättömät vaikutukset.
Hän tuli ylioppilaaksi Vaasan lukiosta 1864 ja valmistui papiksi 1867. Toimittuaan välillä seurakuntapappina hän valmistui filosofian kandidaatiksi 1875. Schwartzberg oli 1876–93 Kuopion lyseossa ensin uskonnon lehtorina ja sitten myös rehtorina. Hänet tunnettiin kyvykkäänä opettajana ja hyvänä järjestyksen pitäjänä.
Kuopion tuomiorovastiksi hän tuli 1893 ja oli tässä virassa kuolemaansa asti. Hiippakunnan piispana oli Gustaf Johansson. Monta kirkossamme sittemmin toteutunutta aloitetta tehtiin silloin. Piispan lähimpänä miehenä tuomiorovasti oli niissä hartaasti mukana. Tällaisia asioita olivat ehtoollispakon poistaminen, diakoniatoimen elvyttäminen, uusien kirkollisten kirjojen aikaansaaminen, papiston opintojen elvyttäminen ja seurakuntahoidon syventäminen.
Schwartzberg oli hiippakuntansa papiston edustajana kaikilla säätyvaltiopäivillä 1888–1906 ja kaikissa yleisissä kirkolliskokouksissa 1886–1913. Hän oli sekä pappissäädyn että kirkolliskokouksen huomatuimpia jäseniä. Valtiopäivillä hän ajoi erikoisesti asioita, jotka koskivat suomalaista sivistyselämää ja kirkon edustamaa katsomusta.
Tunnettuna Raamatun alkukielen tutkijana hän teki merkittävän työn raamatunkäännöskomiteassa. Jumaluusopin kunniatohtorin arvon hän sai tieteellisistä ansioistaan 1907. Kuopion hiippakunnan papisto asetti hänet ensimmäiselle ehdokassijalle piispanvaalissa 1900, mutta häntä ei nimitetty virkaan N. Bobrikovin politiikan tunnettuna vastustajana.