Carl Irmer wurde zunächst von August Becker (1821-1887) in Dessau unterrichtet. Ab 1855 nahm er sein Studium unter Hans Fredrik Gude (1825-1903) an der Düsseldorfer Kunstakademie auf. 
1861 trat er dem Künstlerverein Malkasten bei und ab 1862 vertrat Carl Irmer diesen als Leiter der Landschaftsklasse. 
Gemeinsam mit seinen Studienfreunden Christian Kröner (1838-1911) und Eugen Dücker (1841-1916) unternahm er mehrere Studienreisen nach Wien, Paris und Brüssel.
1891 erhielt er den Professorentitel und war ab diesem Zeitpunkt als anhaltischer Hofmaler tätig.

In seiner Malerei wurde er anfangs noch stark durch die Werke von Carl Friedrich Lessing (1808-1880) und Johann Wilhelm Schirmer (1807-1863) beeinflusst. In seinen späteren Werken ist allerdings die Inspiration durch Werke der Schule von Barbizon zu erkennen, die sich in intimeren Landschaftsschilderungen widerspiegelt. 
Seine Werke bestehen zum großen Teil aus eher unspektakulären Motiven, die jedoch in einer scharfen Naturtreue wieder gegeben sind und durch ihre lyrische Sicht eine einnehmende Stille ausstrahlen.