Der erste datierte Eintrag der Familie von Stetten erscheint in einer Urkunde aus dem Jahr 1098 mit einem Odelricus de Steten zusammen mit seinen Verwandten Helmenricus de Cünzelshowe, Alewic de Stein und Wernhardt de Zotenshofen (Württ.UrkBah, Bd.I, S. 402).

Die nachgewiesene Stammreihe der Familie beginnt 1235. Sie war Mitglied der fränkischen Reichsritterschaft im Kanton Odenwald – immatrikuliert im Kgr. Württemberg bei der Freiherrenklasse des ritterschaftlichen Adels.
Das Wappen der Familie der Freiherren von Stetten zeigt drei rote germanische Wurfbeile (Franzisken) auf einem silbernen Schild, auf dem Helm eine rot gekleidete Jungfrau mit in einem weiteren Beil in jeder Hand.

Wo die edelfreie Familie derer von Stetten bei der Ersterwähnung 1098 ihren Wohnsitz hatte, ist nicht überliefert. Ziemlich sicher ist aber dass sie aus der gleichen Familie stammt wie Mechthild von Stein, der vermutlichen Urmutter der Geschlechter von Künzelsau, von Bartenau, Zottishofen und anderen. Sie siedelte wahrscheinlich zunächst in Kocherstetten am heutigen Fuß der Burg, das in der oben genannten Urkunde ebenfalls erwähnt wird, um dann später auf den Berg zu ziehen und die Burganlage zu bauen.

Die Familie von Stetten teilte sich 1692 in drei Linien auf:

• Äußeres Haus Stammvater Johann Heinrich (geb. 1640, gest. 1684)
• Inneres Haus Stammvater Johann Ernst (geb. 1638, gest. 1703)
• Buchenbach Stammvater Wolf-Christof (geb. 1643, gest. 1699)

Eine Besonderheit bei dieser Teilung war, dass die Verteidigungsanlagen, Türme, Burggräben, Zugbrücken und Kapelle gemeinsames Eigentum blieben, ein sogenannter Gemeinbau. Gemeinbauherr und somit Verwalter der militärischen Anlagen war der jeweils älteste Stetten.
Bis zu ihrem Aussterben um 1850 spielte fast zwei Jahrhunderte das innere Haus die dominierende Rolle, dann übernahm das Haus Buchenbach. Nach dem Zweiten Weltkrieg zerfiel Besitz und Einfluss dieser Linie durch den Verkauf von Wald und Besitz bis hin zum Buchenbacher Schlösschen. Die Mitglieder des äußeren Hauses mit den Linien „Alexander´s Relikte“ und „Eugen´s Relikte“ konnten die Anteile am Gemeinschaftseigentum in Schloß Stetten ganz und die Wälder teilweise erwerben und übernahmen so die führende Rolle. Nach zähen und langwierigen Erbauseinadersetzungen wurde das Kondominat Schloß Stetten in den 70ziger und 80ziger Jahren nach und nach aufgelöst. Am 11. Juni 1988 brachte der heutige Haupteigentümer und Hausherr Prof. Dr. Wolfgang Frhr. v. Stetten seine Anteile an der Kernburg in die „Baron-Wolfgang-Stetten-Stiftung“ ein, um einer erneuten Zersplitterung der Burganlage entgegen zu wirken.

Die einzelnen Familienmitglieder:

• Prof. Dr. Wolfgang Frhr. v. Stetten hatte als Stammhalter der Familie schon früh die schwierige Aufgabe übernommen, die Burganlage von Grund auf zu renovieren und damit für die nächsten Generationen zu erhalten. Nach Landwirtschaft, Putenzucht, Reiterhof und Hotel gründete er zur Erhaltung der Burg die Residenz Schloß Stetten.
• Wolfgang von Stetten heiratete 1969 Silvia Frhr. v. Stetten. Zusammen hat sie mit ihrem Mann die Residenzen Schloß Stetten aufgebaut und die Geschicke der Residenzen über viele Jahre geleitet. Sie wird von den Bewohnern verehrt und ihr Wirken im Hintergrund ist nicht wegzudenken.
• Christian Frhr. v. Stetten ist Diplom-Betriebswirt (FH) und gestaltet als direktgewählter Abgeordneter seit 2002 im Bundestag in Berlin und in seinem Wahlkreis Schwäbisch Hall- Hohenlohe die Geschehnisse.
• Richard Frhr. v. Stetten ist Oberstleutnat der Bundeswehr und bereitet sich z. Z. auf seinen Einsatz als Militärattaché einer deutschen Botschaft im Ausland vor. 
• Dr. Franziska Frfr. v. Stetten hat internationale Betriebswirtschaft studiert und promovierte berufsbegleitend in den Kultur- und Komminikationswissenschaften. Seit 2010 leitet sie zusammen mit ihrem Vater als Geschäftsführerin die Residenzen Schloß Stetten.