Malgré des prises de positions très influencées par la tradition[5], il est considéré comme un historien essentiel à la ville d'Aix-en-Provence, ses écrits constituant un témoignage de la ville de son temps et dont les descriptions des événements de la Ligue ou de la Fronde font autorité.
Quelques mois après sa naissance, il est conduit à Aix par son père. Il y passera toute sa vie. La famille loge chez Jean-François Gaufridi, un parent aussi homme de science, chez qui le jeune Pierre-Joseph officie comme secrétaire[2]. Gaufridi est l'auteur d'une histoire de la Provence qui donnera à de Haitze le goût de l'histoire.
Il traduit des textes latins, entre autres, pour l'écriture de son Histoire de la vie et du culte du bienheureux Gérard Tenque, fondateur de l'ordre de Saint-Jean de Jérusalem. Ce serait à la suite d'une de ses erreurs de traduction, que frère Gérard, fondateur de l'ordre de Saint-Jean de Jérusalem, aurait été appelé Gérard Tenque: «Fr. Gerardus tunc Hospitalis praefectus cum a Christianis duce Godefredo Hyerusalem capta est anno domini MLXXXIX» où tunc doit se traduire par «à l'époque»: «Frère Gérard, à l'époque administrateur des Hospitaliers ...» et non «Frère Gérard Tenque, administrateur des Hospitaliers ...». C'est Ferdinand de Hellwald qui a relevé l'erreur de traduction en 1885[6].
Les curiosités les plus remarquables de la ville d'Aix, Aix, Charles David, , 196p. (lire en ligne)
Relation générale et véritable des fêtes célébrées à Aix en 1687 à l'occasion de la convalescence de Louis XIV, en plusieurs lettres adressées à M. de Ruffi, Aix, David, 1687.
État de l'œuvre pour le secours des prisonniers exercée par la compagnie des FF. Pénitens blancs, sous le titre de Notre Dame de pitié, de la ville d'Aix, par frère Pierre Joseph de Haitze, secretère (sic) de l'œuvre, Aix, Charles David, 1689.
Les moines empruntez. Par M. Pierre Joseph (sic), Cologne, Pierre du Marteau, 1696, 2 vol.
Les moines travestis par Monsieur Pierre Joseph de Haitze, Cologne, Pierre du Marteau, 1698, 3 vol.
Lettre critique de Sextius le salyen à Euxenus le marseillois, lettre de .
Douze dissertations sur divers points de l'histoire de Provence, Anvers, Aix, Audibert, 1704.
Histoire de saint Bénézet ou Bénédet, entrepreneur du pont d'Avignon, contenant celle de l'ordre des religieux pontifes, par Magne Agricol (pseudonyme), Aix, veuve Charles David et Joseph David, 1708.
L'esprit du cérémonial d'Aix, en la célébration de la Fête-Dieu, Aix, 1708, réimp. 1730 et 1758
Vie de Michel Nostradamus. Par Pierre Joseph (sic), Aix, David, 1711.
Apologétique de la religion des Provençaux au sujet de sainte Magdeleine, Aix, David, 1711.
Vie d'Arnaud de Villeneuve, Aix, Joseph David, 1719.
Histoire de sainte Rossoline de Villeneuve, de l'ordre des Chartreux, ibid., 1720.
Vie de Jules Raymond de Soliers.
Dissertation sur l'état chronologique et héraldique de l'illustre et singulier consulat de la ville d'Aix, Aix, 1726.
Portraits ou éloges historiques des premiers présidents du Parlement de Provence, Avignon, D. Chastel, 1727.
Histoire de la vie et du culte du bienheureux Gérard Tenque, fondateur de l'ordre de Saint-Jean de Jérusalem, Aix, Joseph David, 1730.
Histoire de la ville d Aix : Moreri dit que cet ouvrage fut imprimé in-4 mais jamais rendu public.(source:LG Michaud 1817 tome 19 page 520); il en fut extrait "Histoire de la Provence sous le gouvernement du fameux comte d'Alais" (voir chez Savine 1881)
Mémoire sur l'ancienne cité d'Aix, nommée par les Romains Aquae Sextiae, sur sa position prouvée par les débris des monumens qui y ont existé – lu à l'Académie d'Aix, le 2 mai 1812, par L.P.D.S.V., Alexandre de Fauris de Saint-Vincens, impr. Augustin Pontier, Aix-en-Provence, 1816, p. 3, 4.
