Narodil se v rodině chudého tkalce na Jejkově, řemeslu se však pro své zdravotní potíže nevěnoval. Tím započala jeho cesta k humanitnímu vzdělání: v jejkovském klášteře se učil latině a němčině, aby mohl pokračovat na střední škole. V roce 1808 tajně odešel do Prahy za svým strýcem, který byl kuchařem v kapucínském klášteře na Hradčanech. Přímluvou strýce získal i možnost obědů a stipendií od různých pražských rodin, zvláště u rodiny otce svého spolužáka Josefa Dessauera. Vystudoval první latinskou třídu akademického gymnázia na Starém Městě. Přivydělával si jako soukromý vychovatel.

Láska k rodnému jazyku zažehnutá v něm v dětství, když čítal staročeské knihy a Krameriovy noviny, ho seznámila s Václavem Klimentem Klicperou, Františkem Turinským, Václavem Hankou, Janem Hýblem, Josefem Lindou, Josefem Jungmannem a dalšími. Turinský a Klicpera za Chmelou dojížděli občasně i do Třebíče.^[2]

V roce 1814 absolvoval pražskou filozofickou fakultu. Stal se gymnaziálním profesorem v Jičíně, Hradci Králové a nakonec se jako vyučující vrátil zpět na akademické gymnázium v Praze. V Praze též zemřel.^[3]

Patřil k zakládajícím členům Matice české, sepsal druhé provolání Matice české z 3. března 1831.

S manželkou Annou, rozenou Kratochvílovou (*1799) měl pět dětí: dcery Idu (*1822), Bertu (* 1824), Kláru (*1832) a syny Adalberta/Vojtěcha (*1830) a Oskara (*1834),^[4] oba později vojáky. Oskar udělal kariéru, dosáhl hodnosti c. a k. generálmajora a byl povýšen do šlechtického stavu.^[5]

Josef Chmela psal do Květů, Pražských novin a Rozmanitostí. Byl i překladatelem. Publikoval také pod pseudonymem Josef Třebíčský.^[3]

• Bajky pro děti (1818)^[6]
• několikero biblických příběhů „dobře zwedeným a pilným djtkám sskolnjm“ vydávaných v Hradci Králové
  • Daniel anebo Zajetí babylónské,
  • Ježíšek,
  • Jan Křtitel,
  • Ježíšovo zmrtvýchvstání, nanebevstoupení a seslání Ducha svatého a další;
• novoročenky 20. let 19. století – společný počin s Václavem Klimentem Klicperou;
• Divochové. Činohra v jednom dějství, Knížata mezi pastýři – překlad divadelních her;
• Latinsko-česko-německý slovník (1830) a Seznam slov a průpovědí českých ve slovníku latinsko-česko-německém (1834);
• nové vydání pozapomenutého Komenského díla Orbis pictus v latině, češtině, němčině, polštině a francouzštině (1833).
• V roce (1838) přeložil z latiny Knihu o císařích^[7] historika Sexta Aurelia Victora a vydal ji společně s latinským textem jako předpokládanou učebnici češtiny s výzvou k učitelům v předmluvě. Aby ji „za čítanku sobě obrati ráčili, v ní s žáky čítali, obsah její obšírněji po česku vykládali, i po česku, to je duchem českým, a sice zprvu ústně a pak i písemně zase o nich sobě vykládati dávali.“