Het geslacht Van Riemsdijk wordt al in de 15de eeuw genoemd, wonend in de Neder-Betuwe. Waarschijnlijk stamt de eerst bekende Van Riemsdijk in Overijssel uit deze familie. Zijn naam was Jacobus. Hij dook aan het begin van de 17de eeuw op in deze regio. Mogelijk was hij de plaatsvervangend majoor van de vestingstad Coevorden. Een van zijn nazaten was Gerrit (of Gerhard), de jonge vaandrig die in 1673 dapper het kasteel Gramsbergen verdedigde tegen de Munsterse troepen. Met slechts enkele tientallen manschappen bood hij enige tijd weerstand tegen het leger van bisschop Berend van Galen, alias Bommen-Beernd. Uiteindelijk moest ook Gerhard het onderspit delven en kon hij het vege lijf redden door een vrije aftocht naar Coevorden te bedingen. Hij stierf in 1714 en was tijdens zijn leven onder andere rentmeester van het Huis Gramsbergen en ontvanger der belastingen. Zijn zonen kozen beroepen als predikant, procureur en ontvanger.

Over het algemeen bleven de nakomelingen in de noord-oosthoek van Salland wonen en werken, al studeerden ze in steden als Groningen, Leuven, Harderwijk en Leiden. Leden van de patriciërsfamilie bekleedden belangrijke posities in Hardenberg, Gramsbergen en omgeving. Ze waren rentmeester, plaatsvervangend schout, heel-, genees- en vroedmeester, notaris, burgemeester, secretaris en ontvanger der belastingen. Daarnaast waren ze actief in het kerkelijk en algemeen maatschappelijk leven.