しかし、発売初年度の売上が3,000枚と惨憺たるものだったため、ポールはヨーロッパ放浪の旅へ出て、アートもデビュー前に通っていた大学院へと戻ってしまった。ポール・サイモンはイギリスではマーティン・カーシー、バート・ヤンシュ、アル・スチュアート、サンデイ・デニーらと交流を持った。やがてプロデューサーのトム・ウィルソンが、アルバム収録曲「サウンド・オブ・サイレンス(The Sound of Silence)」にエレキギターやドラムなどを加えてシングル発売したところ、これが66年に全米1位の大ヒットとなった[4]。サイモン&ガーファンクルは、一躍人気フォークロック・デュオとなる。さらに66年には続けて「アイ・アム・ア・ロック」[注 2]「早くうちへ帰りたい」がヒットした[4]。
なお、「キャシーの歌(Kathy's Song)」は、ポールがイギリスに長期滞在していた際に交際していたガールフレンドに贈った曲である。キャシーは、ポールが歌っていたパブで券もぎ係をしていた女性であった。また、「アメリカ」の歌詞で触れているKathyと同一人物で、2人でアメリカ旅行に出掛けた際に書いたとされている。ポールのアルバム『ポールサイモン・ソングブック(Paul Simon Song Book)』に、若かりし頃のポールとキャシーが写っている。
1970年発表のアルバム『明日に架ける橋 (Bridge Over Troubled Water)』の制作中に、ポールとアートの音楽に対する意見の違いが表面化した。『明日に架ける橋』は、全世界で売上が1,000万枚を超える大ヒットとなり、グラミー賞の最優秀レコード賞・最優秀アルバム賞を受賞したものの、このアルバムを最後に2人はそれぞれのソロ活動に入った。72年から73年にかけては、日本独自で「冬の散歩道」「エミリーエミリー」がシングル・カットされ、小ヒットしている。
近年は1993年、2003年とたびたび再結成を行い、全米ツアーなどを行っている。1993年12月1日には「Event of a lifetime Tour」の東京公演・福岡公演としてそれぞれ東京ドームと福岡ドームで再来日公演を行なった。2009年7月には16年ぶりの来日公演を行い、何回かの公演の合計で約15万人を動員する成功を収めた。2014年にはアートがインタビューで、近い将来デュオが再結成され、ツアーが実施されると信じると語った。アートはファンがツアーを望んでおり、自分の心はファンとともにあると述べている。
『サイモン&ガーファンクルのすべて』 - The Best of Simon&Garfunkel (1971年) ※日本編集盤
『グレイテスト・ヒット』 - Simon and Garfunkel's Greatest Hits (1972年)
『S&Gゴールド・ディスク』 - Simon and Garfunkel's Greatest Hits II (1972年) ※日本編集盤
『ギフト・パック』 (1972年) ※日本編集盤
『パック20』 (1973年) ※日本編集盤
『ニュー・ギフトパック'75』 (1974年) ※日本編集盤
『グランプリ20』 (1976年) ※日本編集盤
『若き緑の日々』 - The Simon And Garfunkel Collection-17 Of Their All Time Greatest Recordings (1981年)
『セントラル・パーク・コンサート』 - The Concert in Central Park (1982年) ※ライブ・アルバム
『サイモンとガーファンクル全集』 - Simon and Garfunkel's Collected Works (1990年) ※『水曜の朝、午前3時』『サウンド・オブ・サイレンス』『パセリ・セージ・ローズマリー・アンド・タイム』『ブックエンド』『明日に架ける橋』のアルバム5枚をCD3枚に収めたもの
『冬の散歩道~S&Gスター・ボックス』 - The Definitive Simon & Garfunkel (1994年)
『サイモン&ガーファンクル プレミアム・ベスト』 - Simon & Garfunkel - Premium Best (1998年) ※日本編集盤
『サイモン&ガーファンクルのすべて』 - The Best of Simon and Garfunkel (1999年)