Nato nell'isola de La Riunione, Payet è il maggiore di tre fratelli. Suo padre è un dirigente di Air France e sua madre è un'infermiera e un insegnante di catechismo.[1][2] All'età di 15 anni fu mandato in collegio in Sudafrica.[2]
Il 10 settembre 2009 ha sposato l'attrice Géraldine Nakache. Diverse voci cercano di far credere che Geraldine fosse incinta, cosa che è stata smentita dalla coppia, annunciando che al momento non desideravano avere un figlio. Hanno divorziato nel giugno 2011.
Dal 2014 ha una relazione con Pauline, un'interior designer. Nel novembre 2016 hanno annunciato di aspettare il loro primo figlio.[3] Dal gennaio 2017 è padre di una bambina di nome Jonie.