Johann Wilhelm Schirmer gilt mit seiner Malerei als einer der „Idealisten“ der Düsseldorfer Malerschule. Idealisierte und romantisierte Landschaften prägen seine Werke.

1821-24 machte er eine Buchbinderlehre in der väterlichen Werkstatt und bei dem Düsseldorfer Buchbinder Johann Melchior Severin. Neben seiner Ausbildung begann er autodidaktisch Malstudien und Radierarbeiten anzufertigen. Dabei folgte er dem Beispiel niederländischer Altmeister, wie Jacob van Ruisdael (1628-1682). Im Anschluss schrieb er sich an der Düsseldorfer Kunstakademie ein. Anfangs besuchte er nur die Klasse von Josef Wintergerst (1783-1867). Ab 1826 wurde er Schüler von Wilhlem von Schadow (1789-1862) und Heinrich Kolbe (1771-1836). Gemeinsam mit seinem Studienkollegen Carl Friedrich Lessing (1808-1880) bildete er den „Landschaftlichen Komponierverein“ und bildete sich zum Landschaftsmaler aus.
Ab 1834 übernahm er die Stelle eines Hilfslehrers an der Düsseldorfer Kunstakademie, aus der er fünf Jahre später in die Stelle des Professors befördert wurde. Mit Andreas Achenbach (1815-1910) und Lessing begründeten sie in dieser Zeit die Düsseldorfer Schule der Landschaftsmalerei. Reisen in die Schweiz, die Niederlande und nach Italien prägten seine idealisierte Sicht auf die Landschaft. Vor allem biblische Motive tauchen in seinen Arbeiten immer wieder auf. Sie unterstreichen sein Verständnis der Natur als Offenbarung Gottes. 1839 zog er für ein Jahr nach Rom, wo er hauptsächlich in den Kreisen des 1813/14 gegründeten Deutschen Künstlerverein „Ponte-Molle-Gesellschaft“ verkehrte.
1854 wurde er zum ersten Direktor er Karlsruher Kunstschule berufen. Zu seinen Schülern dort gehörten unter anderem Hans Thoma (1839-1924), Rudolf Epp (1834-1910) und Anton von Werner (1843-1915).

Mit seiner Sicht auf die Landschaft und seinem Malstil prägte er nachfolgende Generationen und die Malerei der Düsseldorfer Schule.