Кабай футболды 5 жасыннан бастап ойнай бастады. 7 жасында оны «Лилль» клубы байқап. Йоан клубтың академиясына көшіп кетеді. Жастар құрамасы үшін 6 жыл өнер көрсетіп, 2004/05 маусымда профессионалді футболды ойнай бастады. Осы маусымда Кабай клубына Интертото Кубогін жеңіп алуға көмек берді.
Келесі маусымнан бастап, негізгі құрамның ойыншысы атанып, алғаш Чемпиондар лигасында өнер көрсетті. Жаңа келген бас бапкер, Руди Гарсияның арқасында футболшы өзіне ыңғайлы позицияны тапты, яғни плеймейкер. Кабай үшін 2009/10 маусым ең сәтті маусымдардың бірі болып өтті, футболшы 15 гол соқты. Сондай-ақ, 2010/11 маусымда клубпен бірге Лига 1 мен Франция Кубогін ұтып алды.
Ньюкасл
2011 жылы Кабай ағылшындық «Ньюкасл Юнайтедпен» 5 жылдық контракка қойды. Алғаш голын Англияның чемпионатының 9 турында «Уиган Атлетиккаға» қарсы соқты. Келесі «Блэкверн Роверс» қарсы ойында Кабай тағы да голмен ерекшеленіп, командасына соңғы минутта маңызды жеңіс әкелді.
2012 жылы Кабай алғашқы голын Манчестер Юнайтедке айыпты соққыдан гол салып, допты тура қақпаның тоғыздығына түсірді. Осы матчта Ньюкасл 3:0 есебімен жеңді.
Пари Сен-Жермен
2014 жылы қыста Кабаймен көптеген еуропалық клубатар қызықты. Алайда футболшы француздық «ПСЖ-ға» көшіп, 29 қаңтарда медециналық тексерілістен өтіп, 3,5 жылға контракка қол қойды. Трансфер құны париждіктер үшін 20 млн.еуро болды.
Жастар құрамасы үшін 30 шақты матч өткізіп, 2010 жылы алғаш рет негізгі құрам үшін шақырылды. Әзірше ұлттық құрама үшін 25 матч өткізіп, 2 гол соқты. Оның бірі Еуропа чемпионатында соғылса, екіншісі 2013 жылы Австралия құрама командасына соғылған гол.