Bruno Goller brachte sich zu Anfang neben seiner Schlosserlehre, die er 1916 begann, das Malen autodidaktisch bei.
1919 sah er bei einem Aufenthalt in Berlin das Gemälde „Rheinbrücke“ von Ernst Ludwig Kirchner (1880-1938) und beschloss fasziniert davon eine künstlerische Laufbahn einzuschlagen.
1919-21/22 nahm er Privatunterricht bei Julius Jungheim (1878-1957). Ab 1920 arbeitete er nebenbei in seinem eigenen Atelier.
Zwei Jahre später feierte er sein Debüt auf der Großen Düsseldorfer Kunstausstellung.

Um sich seine Studienreisen zu finanzieren, verkaufte er 1923 seine Werke an Siegfried Trillhaase (1892-1960), den Sohn des Maler Adalbert Trillhaase (1858-1936). Gemeinsam mit dem Geiger Jefim Golyscheff reiste er nach Borkum. In den beiden Folgejahren unternahm er eine weitere Studienreise mit dem Kunsthistoriker Will Frieg nach Italien.
1927 löste er in Gummersbach sein Atelier auf, um dauerhaft in Düsseldorf zu leben. Im gleichen Jahr trat er seine zweite Italienreise an gemeinsam mit Emil Schumacher (1912-1999). Durch diesen knüpfte er auch mehr und mehr Kontakte zu Künstlern aus dem Kreis um Johanna Ey (1864-1947), genannt Mutter Ey. Mit ihrer Galerie war sie zu der Zeit die Einzige, die mit seinen Werken handelte.
In diesem Jahr trat er dem „Jungen Rheinland“ bei. Im Jahr darauf der Rheinischen Sezession.
1930 wechselte er dann zur Rheingruppe.
1931 trat er gemeinsam mit 69 anderen Mitgliedern aus der Düsseldorfer Künstlervereinigung „Malkasten“ aus Protest gegen den Terror nationalsozialistischer Vereinsangehöriger aus.

Seine erste Einzelausstellung erhielt er 1936 in der Düsseldorfer Galerie Rudolf Stuckert. Da jedoch dort keines seiner Gemälde verkauft wurde und er durch die erzwungene Schließung der Galerie von Johanna Ey 1933 in finanziellen Engpass geriet und er durch das NS-Regime immer mehr Druck erfuhr, zog er sich aus dem Kunstleben zurück. Seine alten Bilder versteckte er und fertigte kaum noch neue an.
1940 wurde er zum Kriegsdienst eingezogen. Bei einem Bombenangriff 1943 wurde sein Atelier zerstört und einige seiner Werke.
Kurz vor Kriegsende geriet er während eines Lazarettaufenthaltes in Regensburg in amerikanische Kriegsgefangenschaft. Nach seiner Entlassung Ende 1945 kehrte er nach Düsseldorf zurück und nahm seine künstlerische Arbeit wieder auf.
1946 eröffnete er ein neues Atelier und trat erneut der Rheinischen Sezession bei. 1949 wurde er schließlich Mitglied der Neuen Rheinischen Sezession.

Ab 1953 hatte er eine Professur inne und eine eigene Malklasse an der Kunstakademie in Düsseldorf.
Zu seinen Schülern dort gehörten unter anderem Otto Günter Altena (*1946), Jörg Boström (*1936), Konrad Fischer-Lueg (1939-1996), Günter Haase (*1956), Konrad Klapheck (*1935), Wolfgang Niederhagen (*1933), Blinky Palermo (1943-1977), Wolfram Schnieder (1942-2022), Helmut Sundhausen (1935-2018) und Gerhard Taubert (*1928).
1959 nahm er das erste Mal an der Kunstausstellung documenta II in Kassel teil.
Auf eigenen Wunsch ließ er sich 1964 frühzeitig pensionieren.
Für seine Arbeiten erhielt er zahlreiche Preise, unter anderem 1950 den Cornelius-Preis der Stadt Düsseldorf.

1989 wurde in seiner Heimatstadt Gummersbach das Bruno-Goller-Haus eröffnet, wo Teile seines Nachlasses ausgestellt wurden. 2013 wurde das Kulturzentrum jedoch geschlossen und in ein anderes Gebäude verlegt. Dort wurde Bruno Goller ein eigener Raum gewidmet.
Durch die in Paris lebende Avantgarde, bestehend aus Künstlern wie Marc Chagall (1887-1985), Henri Matisse (1869-1954), Pablo Picasso (1881-1973) und Henri Rousseau (1844-1910) wurde er Zeit seines Lebens beeinflusst.
In seiner Motivwahl jedoch ließ er sich hauptsächlich von der stilllebenhaften Erscheinungswelt der Dinge im Hutmacherladen seiner Mutter inspirieren.

Die Abstraktion seiner Darstellung trieb er weit voran. Seine Malweise zeigte eher einen trockenen Duktus, der eine teils glatte, getupfte und „porös“ wirkende Flächenhaftigkeit aufwies.
Auch wenn er zu Lebzeiten wenig öffentliche Aufmerksamkeit erhielt, lässt er sich heute zu den wichtigsten deutschen Malern des 20. Jahrhunderts zählen.