De vereniging ontstond per 1 juli 1995 uit een fusie tussen J.O.S. (Jeugd Organisatie Sportclub; opgericht op 7 februari 1920 en ook de officiële oprichtingsdatum van JOS/Watergraafsmeer gebleven) en Watergraafsmeer (1 juli 1988). In Watergraafsmeer was via verschillende samenvoegingen een zestal oorspronkelijke verenigingen samengekomen. Dit waren Amstel (01-07-1905), T.D.O. (17-09-1915), T.I.W. (01-10-1921), Ontwaakt (14-11-1923), W.M.H.O. (23-06-1934), Nestor (okt 1918) en Rustenburg (okt 1918). Van deze clubs fuseerden WMHO (Wie Moed Houdt Overwint), TDO ( Training doet Overwinnen) en Ontwaakt in 1976 tot W.T.O. In september 1921 fuseerden Nestor en Rustenburg tot RNC (Amsterdam) (Rustenburg Nestor Combinatie (Amsterdam)). In 1979 fuseerden TIW en Amstel (de club waarin RNC in 1925 was opgegaan) tot TIW/Amstel, waarna in 1988 de fusie tussen TIW/Amstel en WTO volgde.
Stamboom
Rustenburg (okt 1918)
Nestor (okt 1918)
RNC (sep 1921 - 1925)
Amstel (01/07/1905)
TIW (01/10/1921)
TDO 17/09/1915)
Ontwaakt (14/11/1923)
WMHO (23/06/1934)
TIW/Amstel (1979)
WTO (1976)
Watergraafsmeer (01/07/1988)
JOS (07/02/1920)
JOS Watergraafsmeer (01/07/1995)
Voor Michels, is JOS getraind door Hille van Keulen (zonder betaling) oud speler van oa JOS, Blauw Wit en Ajax ook beide in het 1e gespeeld.
Hille van Keulen heeft JOS van de 3e naar de 1e klas gebracht, waarna Michels het heeft overgenomen en met JOS kampioen van de 1e klas geworden.
In 1960 begon Rinus Michels, later trainer van AFC Ajax en bondscoach, zijn trainersloopbaan bij J.O.S. Hij leidde tot 1964 de vereniging. De oud-Ajacied en olympiër Jaap Knol was destijds de voorzitter van de club. Vroeger gold JOS wel als een soort opleidingsclub voor Ajax.
Zanger Henk Hofstede van de Nederlandse popgroep The Nits schreef het nummer "J.O.S. days" (dat in 1987 op hun album In the Dutch mountains verscheen) over de voetbalclub. Hierin bezingt hij de indruk die het monument met namen van oorlogsslachtoffers maakte en de schande die het was om als eerste jongen van de familie niet tot de vereniging te worden toegelaten. Het monument van J.O.S. is inmiddels gesloopt, maar van andere verenigingen die eveneens leden verloren als gevolg van de oorlog (met name Joodse leden) zijn nog wel monumenten bewaard gebleven.
In 1959 schakelde Watergraafsmeer, dat destijds in de tweede klasse speelde eredivisionist Blauw-Wit uit in de KNVB Beker, dit was tot 2016 de enige keer dat een club van het vijfde niveau of lager een eredivisieclub uitschakelde. In dat jaar werd dit record geëvenaard door CVV De Jodan Boys dat Go Ahead Eagles uitschakelde.