Figlio di Najeeb James Tayback e di Helen Hanood[1], ambedue immigrati siriani originari di Aleppo[2], durante gli anni della sua adolescenza si trasferì con la famiglia a Burbank, in California, dove frequentò la locale Burbank High School.
Caratterista con diverse apparizioni sul piccolo e grande schermo, e vincitore di due Golden Globe, Tayback iniziò la carriera di attore a metà degli anni cinquanta, partecipando in veste di guest star a diverse serie tv. Nel 1962 passò anche al cinema, con il film Cinque settimane in pallone, ispirato al romanzo di Jules Verne. La sua interpretazione più famosa è probabilmente quella di Mel Sharples nel film Alice non abita più qui (1974) di Martin Scorsese, ruolo che mantenne poi nella serie televisiva Alice, ispirata proprio al film: dal 1976 al 1985, per tutte e nove le stagioni, Tayback fu un personaggio centrale della serie e forse il più amato, protagonista del tormentone «Vai a farti fottere Mel!» con il quale veniva apostrofato dalla cameriera Flo in quasi ogni puntata. Altre apparizioni storiche sono state quella in Arcibaldo, nei panni di Joe Tucker, un vecchio amico di Archie, e soprattutto quella nell'episodio Chicago anni 20 nella serie classica di Star Trek, nel ruolo del gangster Jojo Krako.
Tayback morì nel 1990, all'età di 60 anni, per un improvviso attacco di cuore. È sepolto nel cimiteroForest Lawn Memorial Park di Hollywood Hills a Los Angeles. Lasciò la moglie Sheila (sposata nel 1962) ed un figlio, Christopher, che dopo un breve tentativo di seguire le orme del padre, intraprese la carriera di avvocato conseguendo il B.A. presso la Notre Dame University e poi la laurea in giurisprudenza alla Harvard Law School, per poi divenire socio del prestigioso studio legale Quinn Emanuel di Los Angeles.