Tỉnh được thành lập tháng 6 năm 1890 trên cơ sở hạt tham biện Thủ Dầu Một tách ra từ tỉnh Biên Hoà cũ[1]. Từ tháng 5 năm 1951 đến tháng 4 năm 1954 và từ tháng 8 năm 1958 đến tháng 7 năm 1959, chính quyền Việt Nam Dân chủ Cộng hòa sáp nhập tỉnh Thủ Dầu Một với tỉnh Biên Hoà mới thành tỉnh Thủ Biên. Tuy nhiên, chính quyền Quốc gia Việt Nam vẫn giữ theo phân chia hành chính cũ.
Tuy nhiên chính quyền Việt Nam Dân chủ Cộng hòa vẫn duy trì tên gọi tỉnh Thủ Dầu Một như cũ. Năm 1955, chính quyền cách mạng chia tỉnh Thủ Dầu Một thành 2 tỉnh Thủ Dầu Một và Bình Long. Địa giới tỉnh Thủ Dầu Một lúc này gần tương ứng với tỉnh Bình Dương của chính quyền Việt Nam Cộng hòa. Cho đến năm 1976, tỉnh Thủ Dầu Một bao gồm thêm một số huyện như Dĩ An, Tân Uyên, Phú Giáo vốn thuộc tỉnh Biên Hòa trước đây.
Từ năm 1976, tỉnh Thủ Dầu Một hợp nhất với tỉnh Bình Phước (Bình Long và Phước Long) và 3 xã An Bình, Bình An, Đông Hòa thuộc huyện Thủ Đức thành tỉnh Sông Bé, tỉnh lỵ đặt tại thị xã Thủ Dầu Một. Từ ngày 6 tháng 11 năm 1996, tỉnh Sông Bé được chia lại thành hai tỉnh: Bình Dương và Bình Phước. Trong đó, tỉnh Bình Dương có địa giới trùng với tỉnh Thủ Dầu Một trước đây.
Hiện nay, địa danh "Thủ Dầu Một" chỉ còn được dùng để chỉ thành phố Thủ Dầu Một, đơn vị hành chính cấp huyện trực thuộc tỉnh Bình Dương và là tỉnh lỵ của tỉnh Bình Dương.
Năm 1887
Toàn tỉnh Thủ Dầu Một được chia thành 12 tổng:
Tổng Bình Chánh có 13 làng: An Thạnh, Bình Đáng, Bình Đức, Bình Giao, Bình Nhâm, Bình Sơn, Bình Thuận, Hòa Thạnh, Hưng Định, Phú Hội, Phú Long, Tân Thới, Vĩnh Bình
Tổng Bình Điền có 16 làng: An Nghiệp, Bình Điềm, Chánh An, Chánh Long, Chánh Thiện, Phú Cường, Phú Hữu, Phú Lợi, Phú Thọ, Phú Nhuận, Phú Văn, Tân Long, Tân Bình, Tân Phước, Vĩnh Phước, Vĩnh Trường
Tổng Bình Thiện có 10 làng: An Mỹ, Bình Chuẩn, Tân Hội, Hóa Nhựt, Khánh Vân, Phước Lộc, Tân An, Tuy An, Tân Khánh, Vĩnh Phú
Tổng Bình Thổ có 13 làng: An Định, An Hòa, An Lợi, An Phú, Cầu Dinh, Định Phước, Hòa Mỹ, Phú Trung, Tương An, Tương Bình, Tương Hiệp, Tương Hòa, Vĩnh Xương
Tổng Bình Hưng có 13 làng: An Phước, Chánh Lưu, Hòa Thuận, Long Bình, Long Chiểu, Long Hưng, Lai Khê, Lệ Nguyên, Lai Uyên, Mỹ Thạnh, Ngãi Khê, Phú Hưng, Thạnh Hòa
Tổng Bình Thạnh Thượng có 12 làng: An Sơn, An Thành Tây, An Thuận, An Thành, Định Thành, Kiến An, Kiến Điền, Phú Thứ, Phú Thuận, Thanh Điền, Thanh An, Thanh Trì
Tổng Minh Ngãi có 8 làng: An Lộc, Bình Minh, Bình Phú, Bình Quới, Bình Tây, Cà La Hơn, Phú Lổ, Phú Miêng
Tổng Cửu An có 2 làng: Võ Dực, Võ Tùng
Tổng Quản Lợi có 10 làng: Đông Phát, Đồng Tựu, Hớn Quản, Lâm Trang, Lịch Lộc, Lôi Sơn, Lộc Khê, Lương Mã, Văn Hiên, Xa Trạch
Tổng Thành Yên có 5 làng: Nha Bích, Nha Uôi, Vật Tuốt, Viết Tôn, Xa Bem
Tổng Lộc Ninh có 8 làng: Mỹ Lộc, Lộc Ninh, Lộc Hưng, Thái Bình, Gia Lộc, Mỹ Thạnh, Xa Can, Bào Núi
Tổng Phước Lễ có 9 làng: Bình Thành, Xa Prum, Xa Pech, Xa Dập, Xa Seck, Xa Diụp, Xa Cay, Xa Cuôt, Xa Bréat.
Năm 1939
Tỉnh Thủ Dầu Một được chia thành 3 quận:
1. Quận Châu Thành có 6 tổng với 41 làng:
Tổng Bình Chánh có 9 làng: An Thạnh, An Sơn, Hưng Định, Bình Nhâm, Bình Hòa, Vĩnh Phú, Thuận Giao, Phú Long, Tân Thới
Tổng Bình Điền có 8 làng: Phú Cường, Phú Hữu, An Mỹ, Chánh Hiệp, Phú Hòa, Phú Chánh, Vĩnh Tân, Tân Bình
Tổng Bình Phú có 5 làng: Hòa Lợi, Tân Định, Định Hòa, Tân An, Tương Bình Hiệp
Tổng Bình Thiện có 5 làng: Tân Phước Khánh, An Phú, Tân Hòa Khánh, Bình Chuẩn, Vĩnh Trường
Tổng Bình Hưng có 7 làng: Mỹ Phước, Thới Hòa, An Long, Lai Uyên, Lai Hưng, Long Nguyên, Chánh Phú Hòa
Tổng Bình Thạnh Thượng có 7 làng: Phú An, An Tây, Định Thành, An Điền, Kiến An, Thanh An, Thanh Tuyền.
Theo Bulletin officiel de l'Expédition de Cochinchine, Annuaire de la Cochinchine Francaise và Annuaire général de l’ Indochine thì: hạt Thủ Dầu Một được thành lập năm 1861 do De Grammont làm chủ hạt đầu tiên. Năm 1867, Thủ Dầu Một trở thành một trong 27 hạt thanh tra ở Nam Kỳ, với De la Croix làm chánh thanh tra. Năm 1890, Pháp thành lập hạt tham biện Thủ Dầu Một trên cơ sở tách hạt tham biện Biên Hòa, do Laffont (thay Bertin từ năm 1889) làm chánh tham biện đầu tiên.