הורי אביו של זהבי עלו לארץ ישראל מרומניה ב-1877 כחלק מהעלייה הראשונה, הגיעו לטבריה ומאוחר יותר עברו להתגורר בראש פינה, שם נולד אברהם גולדיס, אביו של דוד. ב-1895 נישא אברהם לרחל, עולה בת 19 מרומניה, ועבד לפרנסת המשפחה במפעל המשי שיזם הברון רוטשילד בראש פינה. משנקלע המפעל לקשיים פוטר אברהם מעבודתו ובני הזוג עברו בסביבות שנת 1900 ליפו, שם נולד ב-1910 דוד, הילד השלישי במשפחה. לימים כתב כי "הצלילים הראשונים שספגתי בילדותי היו מזיגה של צלילי הזמירות של שבת ויום טוב מפי אבא מחד – וצלילי המזרח שבקעו מבתי הקפה הערביים שבקרבת ביתנו מאידך."[1] אביו קיווה כי יהיה חזן. זהבי למד בגן העברי שהיה ביפו והמשיך את לימודיו בבית־הספר תחכמוני בשכונת נווה צדק. בתקופת מלחמת העולם הראשונההוגלה עם משפחתו על ידי השלטונות העות'מאניים לזכרון יעקב. לאחר כניסת הבריטים שבה המשפחה לתל אביב.
זהבי לא למד מוזיקה בצורה מסודרת בשל חוסר אמצעים. אחותו הגדולה, לאה גולדיס, דחפה אותו לקבל חינוך מוזיקלי בנגינה בכינור, אך כעבור זמן קצר עבר לפסנתר, ש"קסם לי יותר בעושר צליליו".[2] הוא החל ללמוד אצל הפסנתרנית מרים לוית, ולאחר מכן למד אצל הדסה ביריביס. בגיל מבוגר יותר למד אצל מרים בוסקוביץ.[3]
בצעירותו עבד בעבודות מזדמנות כמו דפוס, בניין ורַצפוּת.
עם בגרותו הצטרף למייסדי קיבוץנען, מהנוער העובד, והיה חבר הקיבוץ כחמישים שנה, עד יום מותו. הוא עברת את שם משפחתו מגולדיס לזהבי. מלבד עבודתו בקיבוץ כחשמלאי, ארגן מקהלה ואירועי מוזיקה שבמסגרתם החל גם להלחין. לפסנתר ששימש אותו בימיה הראשונים של נען, דאג דוד כהן על ידי גיוס כספים למטרה זו. אט אט החל לפרסם את לחניו בכל הארץ והפך להיות אחד המלחינים המקובלים בזמנו.
בינואר 1948 נשלח על ידי הקיבוץ המאוחד ביחד עם אשתו רבקה, להדריך במחנות נוער יהודי באיטליה וגרמניה. בספטמבר 1948 חזר לנען.
בשנת 1961 זכה בפרס יוסף אלקוני לזמר העברי (המוענק במסגרת פרס אנגל) על מנגינות למקהלה ולשירי ילדים ושירי עם.[4]
בשנותיו האחרונות סבל מסרטן הוושט. חברי נען הצליחו להפיק תקליט משיריו שהצליח מאוד ולהציג אותו לפניו זמן קצר לפני מותו.
דוד זהבי נפטר ב-1977, בגיל 67, ונקבר בקיבוצו. ארכיונו שמור בספרייה הלאומית. משנת 2015 מתקיים בקיבוץ נען סיור מזמר שזכה להצלחה גדולה בעקבות יצירות דוד זהבי בהדרכת המוזיקאית דפנה זהבי, כלתו של המלחין והסופר עופר רגב.
מנישואיו עם יהודית אברמסון נולד בכורו שי, שהיה ילד חריג[5] הטיפול בשי עורר מתחים בין בני הזוג והם נפרדו. זהבי טיפל בעצמו בשי עד שנאלץ להעבירו למוסד לילדים בעלי מגבלות מנטליות בגבעת השלושה. ב-10 באפריל1946 נעלם שי מהמוסד,[6] ולמרות חיפושים ממושכים לא נמצא עד היום.
אשתו השנייה, רבקה פינצ'י הייתה צעירה ממנו ב-20 שנה. הם התחתנו ב-1948 ומנישואין אלה נולד הבן עדי. הבדלי גיל ומנטליות הביאו לגירושין ב-1952.
ב-1953 נישא למינה ויטמן, ניצולת השואה שהייתה צעירה ממנו ב-17 שנה. מנישואין אלה נולדו רפי ולירון. אשתו של רפי היא הזמרת דפנה זהבי, שמרבה לשיר משירי דוד זהבי בהופעותיה.
שירו הראשון, שאותו הלחין בעודו נער בן 15, היה "אורחה במדבר" למילותיו של יעקב פיכמן, שיר הפותח במילים "ימין ושמאל, רק חול וחול...".
עם לחניו הנודעים, שירה של חנה סנש, "הליכה לקיסריה" (המוכר כ"אלי, אלי"), "ניגונים" למילותיה של פניה ברגשטיין, "הן אפשר" ו"יצאנו אט" למילותיו של חיים חפר, ״אני נושא עמי״ (את צער השתיקה), ״מלאו אסמינו בר״, ״ישושום מדבר וציה״, את המנון הפלמ"ח ("מסביב יהום הסער, אך ראשנו לא ישח. לפקודה תמיד אנחנו, תמיד אנו, אנו הפלמ"ח...") שכתב זרובבל גלעד. שיר ידוע אחר שלו הוא "החליל", שאותו הלחין למילותיה של לאה גולדברג, שאותן מצא בשער של השבועון "דבר לילדים". סיפור מיוחד הוא הלחנת השיר "בעדן ילדים" מאת שלמה זרחי (זיאמה). זהו שירו הראשון של זרחי; הוא כתב אותו ב-1915, בגיל 10, בעת שהיה תלמיד ב"חדר מתוקן", ופרסם אותו כעבור שנתיים בעיתון העברי לבני הנעורים "שתילים" שבעריכת משה בן-אליעזר, שהופיע במוסקבה בהוצאת אמנות (גיליון ח–ט, 1917).[7] זהבי מצא את המלים על פתק זרוק בשדרות רוטשילד והלחין את השיר מבלי לדעת מי חיברוֹ.[8]
(השיר בוצע בשנות ה־60 על ידי מקהלת "שירו שיר" שבהדרכת מאיר הרניק.), (בשנת 1966 עיבד את השיר גיל אלדמע.[9]).
עיבודים של משה וילנסקי לשירי דוד זהבי .[תווים], (זהבי דוד מלחין, וילנסקי משה מעבד מוזיקלי), 1950, מתוך: "ארכיון משה וילנסקי", סדרה B: עיבודים, פריט מס' 11 .
קובץ שירים, תל אביב: ההסתדרות הכללית של העובדים העברים בישראל – הוצאת מרכז לתרבות ולחינוך ('ספריה מוזיקלית ע"ש נסימוב'), תשי"ד, 1954.
קֹבץ שירים: חלק ב; בעריכת ש[למה] קפלן, תל אביב: מרכז לתרבות ולחינוך ('ספריה מוזיקלית ע"ש נסימוב'), תשכ"ב. (התוכן: שירי ילדים; שירי עם וחברה; שירים ליריים; שירים בשנים ובשלושה קולות)
10 לחנים, תל אביב: הקיבוץ המאוחד – המדור לחנוך מוזיקלי; אור תו, 1970.
מזמור לדוד: משיריו של דוד זהבי, חלק ג'; בעריכת יהודה אורן, הנרי קלאוזנר; דברי מבוא מאת ישראל גלילי, תל אביב: ההסתדרות הכללית של העובדים בארץ ישראל – מפעלי תרבות וחנוך ('הספרייה למוזיקה ע"ש נסימוב'), 1977. (התוכן: שירים מן המקורות; שירי מולדת; שירי חברה ואהבה; שירים ליריים שונים; שירי טבע; שירי ילדים; שירי שבת; שירי מקהלה)
שלא יגמר לעולם: מבחר מנגינות; בעריכת גיל אלדמע, יהודה אורן, הנרי קלאוזנר; איורים מתוך רישומי הצייר אהרון גלעדי, תל אביב: הוצאת הקיבוץ המאוחד – מפעלי תרבות וחינוך ('ספריה מוזיקלית ע"ש נסימוב'), 1981. (כולל אוטוביוגרפיה של זהבי ודברים עליו מאת אליהו הכהן ואחרים)
שירים לשירה בציבור עם דוד זהבי, דוד זהבי, אריה יחיאלי, אברהם שלמה עמיאל, רפאל ספורטה, חנן שדמי, קיבוץ בית השיטה, ערב סוכות תשט"ז, 1955, "ארכיון דוד זהבי", סדרה C: טקסטים לשירים, פריט מס' 042 ,[10].
מחדש אותו השיר: משירי דוד זהבי ב' ,(השירים: הן אפשר, ירדה השבת, אורחה במדבר, מולדת, ארחה, זמר חג, יששום, והטיפו, נגונים, שיר השדה, עוד שדי פורח, אדמה, שיר האדמה, מלא אסמנו בר, כל אחד, היה היה מיתר, בעדן ילדים, אצבעות לי, שיר המחנה, אנחנו שרים לך, זמר לספינה, אני נושא עמי, החליל, ליל בא שקט רוגע, יוכבד, יצאנו אט, שיר אפור, שיר הפלמ"ח, לילדה ביער, שיר ערש, הסביון, אשרי הגפרור, הליכה לקיסריה, עוד שיר אחד), נחומי הרציון, דוד זהבי, מועדון הזמר האזורי (בני שמעון), מוציא לאור: בית קמה: מועצה אזורית בני שמעון - מחלקת התרבות, תשע"א, 2011.
דוד זהבי, 'אוטוביוגרפיה', תצליל 8, 4 (1968).
מוטי זעירא, כמו קול של הלב: סיפור חייו ויצירתו של דוד זהבי, תל אביב: הקיבוץ המאוחד, תשע"ג 2013.
אתר הספרייה הלאומית, ערך גיל אלדמע ,"בעדן ילדים", שלמה זרחי, דוד זהבי, גיל אלדמע, בזמר ובצליל 16, (1 כרך תווים, 6 עמודים), מרכז לתרבות ולחינוך, תל אביב, 1966