Bei dem Schloss Sommersdorf handelt es sich um eine Anlage mit zwei parallelen Flügeln aus der Zeit um 1400. Der Burghof ist im Westen durch einen Treppenturm und im Osten durch den Bergfried begrenzt und mit Mauern umgeben. Beide Flügel umgibt ein quadratischer Zwinger, von dem der südöstliche Eckturm nicht mehr erhalten ist. Im Norden steht das sogenannte Neue Schloss mit vier Geschossen. Das Alte Schloss im Süden besaß ursprünglich drei Geschosse, von denen das oberste Mitte des 19. Jahrhunderts abgetragen wurde. Der Bergfried ist in die Zwingermauer integriert und schützt den Zugang von Osten. In der Vorburg steht der Käschperle genannte Torturm. Von hier zieht eine Mauer mit Wehrgang zum südlichen Eckturm, der auch als Kirchturm der Schlosskapelle dient. Vermutlich ab dem 17. Jahrhundert wurde der Wehrgang unter der Alten Kirche als Familiengruft der Herren von Crailsheim benutzt. Der stetige Luftzug durch die Schießscharten sorgte dafür, dass die dort bestatteten Toten nicht verwesten, sondern mumifiziert wurden.
Der Osteingang der Vorburg verläuft durch einen Torturm aus dem 18. Jahrhundert. An dessen Nordseite stößt das Kastenamtshaus aus dem 18. Jahrhundert an. Die Neue Kirche war ursprünglich die Zehntscheune, welche 1923 zur Kirche umfunktioniert wurde.