Anton Graff war ein bedeutender Porträtmaler seiner Epoche. In seinen Bildnissen gab er sowohl die äußere Ähnlichkeit, sowie den Charakter des abgebildeten Menschen wieder. 
Auf Grund seines Talents wurde er zum bevorzugten Porträtmaler der deutsch-sprachigen Dichter der Aufklärung, Weimarer Klassik und Frühromantik. 

Schon als Kind war er fasziniert von der Kunst. Auf Fürsprache des Pfarrers Johann Jacob Wirz (1694-1773) durfte er von 1753-56 die 1752 von Johann Ulrich Schellenberg (1810-1863) gegründete Zeichenschule in Winterthur besuchen. Dort freundete er sich mit dessen Sohn Johann Rudolf Schellenberg an. 
1756 wechselte er auf Empfehlung seines Lehrers zum Radierer Johann Jacob Haid (1704-1767) nach Augsburg. Dieser vermittelte ihm zahlreiche Aufträge. Nach einem Jahr musste er die Stadt jedoch wieder verlassen, da er durch sein Talent die dort ansässigen Maler verärgerte. Dank Haids Empfehlung wurde der Hofmaler Johann Leonhard Schneider (1716-1768) ab 1757 sein neuer Meister. Während dieser Zeit reiste er häufig nach München und studierte die dort ausgestellten Kunstwerke, unter anderem Arbeiten von Antoine Pesne (1683-1757), Johann Kupetzky (1667-1741) und Hyacinthe Rigaud (1659-1743). Bei seinen Studien lernte er unter anderem George Desmarées (1697-1776) kennen. 
1759 kehrte er auf Wunsch Haids nach Augsburg zurück. Bei diesem Aufenthalt lernte er Johann Friedrich Bause (1738-1814) kennen, mit dem ihn eine lebenslange Freundschaft verbinden sollten. 
1764 wechselte er nach Regensburg. Dort war er als Porträtist der Oberschicht tätig. Zwei Jahre später erhielt er den Ruf als Hofmaler an den Hof in Dresden. Diese Anstellung behielt er Zeit seines Lebens. 
1789 wurde er außerdem zum Professor für das Porträtfach an der Dresdner Akademie berufen, wir er neben seiner Anstellung als Hofmaler arbeitete. 
In seinen Porträts konzentrierte er sich auf das Wesentliche, besonders auf das Gesicht und die Darstellung der Augen. Meist stellte er die Porträtierten in einfachen und natürlichen Stellungen dar. Er verzichtete auch auf allegorisches Beiwerk und übertriebene Staffage.
Die Schlichtheit der Porträts und gleichzeitige detailgetreue Darstellung zeigen sein Talent.