Elfenfohren gehört als Teil der ehemals selbstständigen Gemeinde Ihmert seit dem 1. Januar 1975 zur Stadt Hemer. Die Siedlung liegt im Südwesten der Stadt, kurz vor der Grenze zu Evingsen. Der Hof mit angeschlossener Gaststätte geht bis auf das Jahr 1813 zurück.