Kurz nach der Geburt Anton Dieffennbachs zog seine Familie von Wiesbaden nach Straßburg. Dort wurde er recht schnell Schüler des Malers Charles Duhamel. Auf dessen Empfehlung hin ging er später nach Paris und wurde dort Schüler des Bildhauers James Pradier (1790-1852). 1852 kehrte er nach Deutschland zurück und ließ sich in Wiesbaden nieder. Dort beschloss er sich nur noch der Malerei zu widmen. Ein Jahr später zog er deshalb nach Düsseldorf und besuchte dort die Kunstakademie unter Christian Köhler (1809-1861). Privat nahm er zusätzlich Unterricht bei Karl Ferdinand Sohn (1805-1867) und Rudolf Jordan (1810-1887). 1856 trat er für drei Jahre der Düsseldorfer Künstlervereinigung Malkasten bei. Ab 1863 hielt er sich für einige Jahre in Paris auf. Mit Ausbruch des Deutsch-Französischen Krieges verließ er Frankreich, um sich 1871 in der Schweiz niederzulassen. 1872 jedoch zog er nach Berlin. Ab den 1880er Jahren verbrachte er die Sommermonate regelmäßig in Hohwald in den Vogesen. 1897 ließ er sich endgültig in Straßburg nieder. Dort wurde er sowohl zum Ehrenmitglied im Verband Straßburger Künstler, als auch zum Professor ernannt. 

In seinem Werk beschäftigte er sich bevorzug mit anekdotischen Genreszenen, besonders Familienszenen und Darstellungen von Kindern in Verbindung mit Tieren waren für ihn charakteristisch. Obwohl er nie Schüler Ludwig Knaus’ (1829-1910) war, wurde er in seiner Motivwahl und seinem Stil stark von ihm beeinflusst. Sein Spätwerk allerdings besteht hauptsächlich aus Landschaftsbildern, vorwiegend „Waldbilder“ aus den Vogesen, in denen er sich meist auf die Darstellung der Natur konzentrierte und auf jegliche Staffage verzichtete.