Das Dorf Unterfinningen, wo das Schloss steht und heute einen Gasthof beherbergt, wurde erstmals 1262 als Vinningen benannt, also bereits vor 735 Jahren. 1268 gab es schon den Ortsadel von Vinningen, 1269/71 Nidernvinningen, Maierhof und einen herzoglichen Hof. 1326 hieß der Ort Dorfvinningen und 1334 Herrenvinningen, 1435 Oberfynningen und 1439 HERRENFINNINGEN. 1443 kamen von den Herrenfinninger Herren von Eslingen, an das Kloster Sankt Ulrich und Afra in Augsburg folgende Besitzungen in Herrenfinningen: der Burgstall und die Behausung, der Kirchensatz, Widemhof, 3 Höfe, 16 Sölden, 4 Hofstätten, die Badstube, Taferne, Zehnt, Gericht, Zwing und Bann. 1560 gehören zum "Dorf und Schloss Herrenfinningen" sechs Bauernhöfe und 34 Sölden, die dem genannten Kloster gehörten. Und 1803 bestand das Dorf Unterfinningen aus dem Schloss, einer Schule und 70 Häusern.