Furtwängler Berlinben született 1886. január 25-én, gyermekkorát Münchenben töltötte, ahol édesapja tanárként dolgozott. Miután már egészen fiatal korában nyilvánvalóvá vált, hogy rendkívüli tehetséggel van megáldva, abbahagyta az iskolát, és magántanuló lett. Zeneszerzésre Joseph Rheinberger tanította, vezénylés tanára Felix Mottl volt. Furtwangler 17 éves korára már számos saját kompozícióval büszkélkedhetett. Karmesterként is viszonylag korán, 20 évesen debütált a Kaim Zenekarral. A műsoron I. szimfóniájának Largo tétele, Beethoven Házavatás nyitánya, valamint Bruckner IX. szimfóniája szerepeltek. Ez a koncert fordulópont volt pályájának további alakulásában: zeneszerzőként vegyes fogadtatásban részesült, így energiáit innentől kezdve a vezénylésre irányította.
 

1906-1907-ben a Breslau Stadttheaternél dolgozott: ez volt az első állása. A következő évadban Zürichbe ment, majd útja a müncheni udvari operába vezetett, ahol régi tanára, Mottl keze alatt tevékenykedhetett. Ezt követően több németajkú nagyvárosban dolgozott mint zeneigazgató, így vezényelt Lübeckben, Frankfurtban, Mannheimben és Bécsben is. 1920 és 1922 között a berlini Staatskapelle dirigense volt, 35 éves korában pedig az a megtiszteltetés érte, hogy az ünnepelt Berlini Filharmonikusok élén ő foghatta a karmesteri pálcát, sőt ezzel párhuzamosan a lipcsei Gewandhaus zenekarát is igazgatta 1928-ig. A ’20-as évek második felében a New York-i és a Bécsi Filharmonikusok hívták meg magukhoz. A ’30-as évek elején Bayreuthban, Salzburgban, illetve a berlini Operában dirigált. 1932-ben Geothe Arany Érmet kapott. Amikor a náci párt hatalomra került 1933-ban, Furtwangler, noha büszke volt német származására, erős ellenállást tanúsított, még Hitler jelenlétében sem volt hajlandó tisztelegni. 1934-től számos zsidó származású muzsikusnak segített, és visszautasított mindenféle felkérést, ami a náci területről jött. Nem sokkal később Albert Speer tanácsára Svájcba menekült. A háború után főleg Bécsben és Londonban vezényelt. 1954. november 30-án hunyt el Baden-Badenben.
 

A német karmesterről díjat neveztek, amit özvegye és Ermano Sens-Grosholz alapítotott. A Furtwängler-díjatelső alkalommal 1990-ben Plácido Domingonak adták át. A következő években többek között Agnes Baltsa, José Carreras, a Bécsi Filharmonikusok, James Levine, Lorin Maazel, Daniel Barenboim és a Berlini Staatskapelle muzsikusai is részesültek a kitüntetsében. 2008 óta - akkor Kurt Masur életművének elismeréseképp kapta meg Furtwängler bronz mellszobrát - a díjátadás a bonni Beethovenfest keretében történik.