Mária Terézia legidősebb fia 1741. március 13-án született Bécsben.
A történelem lapjaira félévesen, királyi anyja karjain lépett be: a legenda szerint az osztrák örökösödési háború idején szorult helyzetbe került Mária Terézia csecsemő fiát is bevitte a magyar parlament üléstermébe, s a meghatódott rendek „életünket és vérünket” felkiáltással fogadtak neki hűséget (bár rossznyelvek szerint azt is hozzátették, hogy de a zabunkat nem...)József rangjához illően kiváló nevelésben részesült: Bartenstein államtitkártól tanult történelmet, Martin professzortól jogot, főleg a kormányzati stúdiumok s a kor új eszméi érdekelték. Fiatalon Falkenstein gróf néven bejárta Európát, egyebek között Franciaországot is, ahol húga, Marie Antoinette a trónörökös, a jövendő XVI. Lajos felesége volt. Kerülte a pompát, a társaságot, az általa léhának tartott szórakozásokat, regények helyett gazdasági és filozófiai műveket olvasott. Tizennyolc éves korától részt vett az államtanács ülésein, 1764-ben római király, egy év múlva német-római császár és anyja mellett társuralkodó lett.

A szerelemben igencsak balszerencsésnek bizonyult: 1760-ban dinasztikus okokból ugyan, de szerelmi házasságot kötött Izabella pármai hercegnővel, aki 1763-ban második gyermekükkel viselősen himlőt kapott és meghalt. József anyja nyomására két évvel később feleségül vette Mária Jozefa bajor hercegnőt, akivel közös témát nem talált és testi vonzalom sem fűzte össze őket. A boldogtalan házasság alig két évig tartott, második feleségét is a himlő vitte el, férje még a temetésére sem ment el. József többé nem nősült meg, s amikor lánya hétévesen meghalt, végképp az államügyekhez menekült.

Mikor 1780-ban, anyja halála után trónra lépett, szinte szétfeszítette a tettvágy. A felvilágosodás gyermekeként „ésszerű” alapokon akarta soknyelvű, soknemzetiségű országait egységes, centralizált és rendi kiváltságoktól mentes, korszerű birodalommá átgyúrni, figyelmen kívül hagyva azok eltérő alkotmányait, hagyományait, sajátosságait. Jellemző módon, hogy esküje ne korlátozza, Magyarországon meg sem koronáztatta magát, így lett belőle „kalapos király”. Józsefet a magánéletben és a politikában is a célratörés, a külsőségek iránti teljes érzéketlenség jellemezte, birodalmát kopott öltözetben, legendás gyűrött kalapjában járta. Politikája, melyet jozefinizmusnak nevez az utókor, a felvilágosult abszolutizmus szellemében zajlott; rendeletekkel kormányzott (összesen hatezret adott ki). 1781-ben hozott türelmi rendelete a nem katolikusoknak szabad vallásgyakorlást és hivatalviselési lehetőséget adott, feloszlatta a nem betegápoló vagy tanító szerzetesrendeket, a pápai bullák kihirdetését előzetes jóváhagyásához kötötte (placetum regium), az intézkedései miatt Bécsbe utazó VI. Pius pápát tisztelettel fogadta, de semmiben sem engedett neki.

Takarékossági intézkedéseket hozott, racionalizálta az államszervezetet és enyhített a cenzúrán. 1781-ben eltörölte az örökös jobbágyságot. Egységes jogrendszert vezetett be, eltörölte a halálbüntetést, átszervezte a bíróságokat, Magyarországon hatalmas felháborodást kiváltó 1784-es nyelvrendelete a latin helyett a németet tette hivatali nyelvvé. József nem csak reformok révén, háborúival is igyekezett birodalmát nagyobbá és erősebbé tenni. Bajorország birtoklása miatt háborúba keveredett II. Frigyes porosz királlyal, akitől vereséget szenvedett, 1787-től a törökök ellen hadakozott.

Az egész birodalmat felbolygató intézkedései Magyarországon ütköztek a legnagyobb ellenállásba, ezt letörendő 1784-ben Bécsbe vitte a koronát, 1785-ben megszüntette a vármegyerendszert, az ahelyett létrehozott tíz kerület élére királyi biztosokat állított. Ugyancsak 1785-ben kiadott jobbágyrendelete eltörölte a jobbágy megnevezést, lehetővé tette a szabad költözést, lehetőséget adott a szabad hivatásválasztásra és csökkentette az úriszék hatáskörét, József rendelte el (az egyébként országszerte bojkottált) első népszámlálást is.

Élete utolsó éveiben a török ellen indított háborút az oroszok oldalán, de a hadműveletek nem hoztak sikereket, ráadásul a császár a frontról súlyos betegen érkezett haza. Birodalma forrongott, a kudarcok felszították a magyar nemesség elégedetlenségét. II. József 1790. január 28-án halálos ágyán egy tollvonással valamennyi rendeletét visszavonta, kivéve a jobbágyságról, a vallási türelemről és a lelkészállításról szólókat, s helyreállította a magyar alkotmányt. Abban a hitben halt meg Bécsben, 1790. február 20-án, hogy életműve összeomlott. Gyermeke nem lévén, trónját öccse, II. Lipót örökölte.

A jó szándékú, de a reálpolitikával nem törődő uralkodót Ausztriában a népek jótevőjének látták, a modernizáció harcosának, Magyarországon a szerzett jogok csorbítójának. Reformjai jogosak és előre mutatóak voltak, de türelmetlensége és erőszakossága szinte minden társadalmi réteget maga ellen hangolt. Érdekesség, hogy Budapesten és Bécsben is a nyolcadik kerület (Józsefváros, illetve Josefstadt) viseli a reformer uralkodó nevét.