Қазіргі Омбы облысының Шарбақты ауданында туған. Арғын тайпасының Атығай руынан шыққан[1][2]. Полтавкадағы екі сыныпты қазақ-орыс училищесін бітірген (1917 ж). Мәскеудегі Н.Нариманов атындағы Шығыс институтында оқыған.
Еңбек жолын Текелі болыстық атқару комитетінің хатшысы болып бастап (1921-1923 жж.), уездік атқару комитетінің іс жүргізушісі болды. Халық ішкі істер комиссариатында 10 жыл жұмыс істеп, жедел уәкілдің көмекшісінен облыстық басқарма бастығының орынбасарлығына дейін жоғарлады (1936 ж.). 1938 жылы маусымда Қазақстан Компартиясы Орталық Комитетінің үшінші хатшысы болып сайланды. Бір жылдан кейін екінші хатшылыққа көтеріліп, Ұлы Отан соғысы жылдары Қазақстан бойынша Мемлекеттік қорғаныс комитетіне басшылық жасады.
1946 жылы сәуірде ол Қазақстан Компартия Орталық Комитетінің бірінші хатшысы болып сайланды. Бұл уақыт соғыстан кейінгі ауыр кезең болатын. Шаяхметов басшылықта болған кезде Қазақстан халқы артта қалған, ашаршылық пен саяси қуғын-сүргінді және соғысты бастан кешірген кезеңнен өтіп, аздап болса да ес жия бастаған болатын. Соғыс жылдары Қазақстанға КСРО-ның батыс аймақтарынан көптеген зауыт-фабрикалар, ғылыми және мәдени мекемелер көшіп келді. Осыған байланысты қаладағы халық саны күрт өсіп, жаңадан өндіріс ошақтары пайда болды. Мәскеуден, Ленинградтан, Киевтен, т.б. ірі-ірі қалалардан келген ғылым мен мәдениеттің көрнекті қайраткерлері республика басшылығы көмегімен жергілікті жағдайға тез бейімделіп, елдің ғылыми және мәдени өміріне белсене араласты. Осы ғалымдарды және жергілікті күшті жұмылдыра отырып, 1946 жылы Қазақ КСР Ғылым академиясы құрылды, жоғары оқу орындарының ғылыми-техникалық базасы нығайды, жаңа оқу орындары ашылды. Бұрынғы ұсақ ұжымшарлар біріктіріліп, жаңадан кеңшарлар құрыла бастады.
1937-1949 жылдары республика КСРО-ның түкпір-түкпірінен қуғынға ұшыраған халықтар (Солтүстік Кавказ халықтары, немістер, корейлер, т.б.) зорлықпен көшіріліп әкелініп, Қазақстан көп этносты өлкеге айналды. Соған қарамастан Шаяхметов басқарушы кадрлар арасында қазақ басшыларын көбейтті. Көптеген қазақ жастары Мәскеу мен Ленинградта оқыды, аспиранттар мен доктаранттар көбейді. Қазақстанда жаңадан жүздеген зауыттар мен фабрикалар салынды, мыңдаған шақырым темір жол төселді. Мырыш өндірісі, қара металлургия, машина жасау, мұнай өңдеу, ауыл шаруашылық тыңайтқышын өңдеу, т.б. салалар жаңадан құрылды. Қазақстан артта қалған елден аграрлық-индустриалық республикаға айнала бастады.
Ж.Шаяхметов «Медеу» мұз айдынының, Шымбұлақ спорт базасының салынуына да көп еңбек сіңірді. Сондай-ақ, ол кеңес одағы парламенті палатасының бірі - КСРО Жоғары Кеңесі Ұлттар кеңесінің төрағасы болған және 1950 жылы КСРО-ның «Бейбітшілік туралы заңына» қол қойған бірінші қазақ.
1953 жылы КСРО-ны ұзақ жылдар басқарған И.Сталин қайтыс болды. Осыған байланысты Мәскеуде болған саяси тартыстардан кейін билікке Н. Хрущев келді. Ол КСРО-ны азық-түлік жетіспеушілігінен аман алып қалу үшін Қазақстан мен Батыс Сібірдің тың және тыңайған жерлерін игеру қажет деп есептеді. Шаяхметов өз кезегінде Қазақстанның географиялық ерекшеліктерін және осыған байланысты қазақ халқының негізінен мал шаруашылығымен айналысқанын ескере отырып, жерді жаппай жыртуға қарсылығын білдірді. Сондықтан Ж.Шаяхметов орнынан алынып, 1954-1955 жылдары Оңтүстік Қазақстан облыстық партия комитетінің бірінші хатшысы қызметіне дейін төмендетілді.
2002 жылы мемлекет қайраткері тұрған үйдің қабырғасына мемориалдық тақта орнатылды. Сол жылы соғыс ардагері Қасым Мұхаметқалиев пен журналист Ермек Зәңгіров құрастырған Ж.Шаяхметов туралы естеліктер жинағы, журналист Мәдат Аққозиннің «Вернуть из забвения» атты кітабы жарық көрді. Ж.Шаяхметов үш мәрте «Ленин», «Еңбек Қызыл Ту», «Құрмет белгісі» ордендерімен, бірнеше медальдармен марапатталған.