프랑스 파리에서 지휘자이자 작곡가인 아버지 마샤오쥔(馬孝駿)과 성악가인 어머니 마리나 루(盧雅文) 사이에서 태어났다.[2] 요요 마는 바이올린, 그 다음엔 비올라, 그리고 첼로를 배웠다. 요요 마가 일곱살 때 그의 가족은 뉴욕으로 이주했다.
그는 줄리어드 음악원에서 레너드 로즈에게 배웠다. 이듬해 레너드 번스타인이 지휘한 텔레비전 음악 프로그램에 출연했고, 아이작 스턴과 카네기 홀에서 함께 연주하는 등, 미국 전역에서 신동으로 이름을 떨쳤다. 1972년부터 말보로 음악제, 아스펜음악제 등에 출연하기 시작했고[3], 1977년부터는 유럽으로도 연주 활동의 폭을 넓혔다.
베를린 필하모니 관현악단, 빈 필하모니 관현악단 등 최고의 악단과 협연한 그는 1978년에는 잘츠부르크와 루체른 음악제에도 출연했다. 워낙 어린시절부터 연주해 왔기에 그의 연주 활동 경력도 40년이 가까워진다. 자신의 이름이 등장하는 음반을 가장 많이 갖고 있는 첼리스트 중의 한사람이라는 사실도 이를 뒷받침한다.
그는 솔리스트로서 화려한 명성을 자랑했으며 실내악 연주도 활발히 하였다. 김영욱, 엠마누엘 액스와의 트리오 활동부터 아이작 스턴, 제이미 라레도, 초량린, 리처드 스톨츠만 등과 파트너십을 이루며 실내악 활동을 하였다. 2012년폴라음악상 수상자로 선정되었다.[4]
Hatch, Robert; Hatch, William (2005). 《The Hero Project》. McGraw-Hill Professional. 82쪽. ISBN0-07-144904-3. 2007년 9월 8일에 확인함. yo yo ma naturalised citizen.