Olof Jernberg begann 1870 sein Studium an der Kunstakademie in Düsseldorf bei Andreas Müller (1831-1901) und Ernst Giese (1832-1903).
Ein Jahr später verließ er vorübergehend die Akademie und setzte erst 1875 sein Studium dort unter Eugen Dücker (1841-1916) fort. .
Mit Olof Krumlinde (1856-1945), Johan Erik Ericson (1849-1925) und Alfred Wahlberg (1834-1906) unternahm er 1878/79 mehrere Reisen nach Schweden. 
Bei einem anschließenden Aufenthalt in Frankreich 1880-82 lernte er Hugo Salmson (1843-1894) kennen.
Im gleichen Jahr trat er dem Künstlerverein Malkasten bei. 
1889 gründete er gemeinsam mit Heinrich Hermanns (1862-1942), Eugen Kampf (1861-1933) und Helmuth Liesegang (1858-1945) als Reaktion auf die Ausstellungspolitik des mit der Kunstakademie verbundenen „Kunstvereins für die Rheinlande und Westfalen“ den „Lucas-Club“
1897 wurde er zum Professor ernannt und 1901 an die Königliche Kunstakademie in Königsberg berufen. 
1918 wurde er schließlich als Nachfolger Friedrich Kallmorgens (1856-1924) an die Hochschule für Bildende Künste in Berlin berufen.

Unter dem Einfluss von Eugen Dücker fand Olof Jernberg zur Küsten- und Marinemalerei. 
Häufig fand er seine Motive an der niederländischen und schwedischen Küste. 
Ein niedriger, weiter Horizont und eine detailreiche Staffage waren für den Künstler charakteristisch.