Atkins werd geboren in de staat Vermont in 1827. Hij behaalde bij zijn studie een bachelordiploma en hij vertrok naar Seattle. Op dat moment was Atkins met twee andere personen in het bezit van een heistelling, die werd aangedreven door een stoommachine. Hij verhuurde zichzelf met de heistelling bij bouwprojecten in de omgeving van Seattle. In 1861 hielp Atkins bij het vrijmaken van de grond voor de bouw van de Universiteit van Washington.
In december 1866 werd hij zakenman. Atkins kocht met zijn zakenpartner William H. Shoudy, die later ook burgemeester van Seattle zou worden, een kruidenierszaak in Seattle, die was opgericht door Dexter Horton. Deze koop verscheen in de Puget Sound Weekly, waar Atkins en Shoudy werden beschreven als worthy gentlemen, well qualified for the business. In 1869 richtte hij met een aantal partners twee bedrijven op. Dit waren de Seattle Gas Company en de Puget Sound Wagon Road Comapany, maar beide bedrijven gingen failliet.
Op 2 december 1869 werd Atkins door de wetgevende macht van de staat Washington aangesteld als eerste burgemeester van Seattle. Op 11 juli 1870 vonden de gemeenteraadsverkiezingen in Seattle plaats en won hij met 80 stemmen van zijn tegenstander Henry L. Yesler, die 64 stemmen behaalde. Zijn tweede termijn liep van 11 juli 1870 tot en met 30 juli 1871. Op de verkiezing van 16 juli 1873 stelde Atkins zich kandidaat voor de functie van marshal, maar hij verloor met 129 stemmen van Fred Minick, die 168 stemmen behaalde.
In juni 1875 vervolgde hij zijn bouwprojecten met de heistelling. Atkins sloeg palen in de grond voor een uitbreiding van een scheepswerf in Tacoma van de Mill Comapany. Hij bouwde daarna twee scheepswerven voor de Lake Washington for the Seattle Coal and Transportation Company en daarna een scheepswerf voor een bedrijf in de haven van Seattle.
Atkins stierf in 1885 en werd begraven in het Lake View Cemetery in Seattle.