Vihterpalun kartano perustettiin vuonna 1586, jolloin Ruotsin kuningas Juhana III antoi sen läänityksenä Berend von Gröningenille.

Vuonna 1621 Ruotsin sotaväki piiritti Riian kaupunkia. Elettiin Ruotsi-Puolan sodan päiviä. Thomas Ramm johti Riaan kaupungin puolustusta ja antautumisneuvotteluja. 16.9.1621 Ruotsin kuningas Kustaa II Adolf marssi juhlallisesti Riikaan ja palkitsi Thomas Rammin tekemällä hänestä Riian pormestarin (vuoteen 1630).

Rammilla oli ollut useita kartanoita Riian lähellä, jotka puolalaiset olivat ryöstäneet ja polttaneet. Ruotsin kuningas kiitti Thomas Rammia palveluistaan Ruotsin kruunulle ja lahjoitti ryöstetyiden kartanoiden tilalle Padisen luostarin ja sitä ympäröivät maat. Tämän lahjoituksen vuoksi Rammit muuttivat Padiselle, nykyiseen Viroon.

28. Elokuuta 1624 nosti kuningas Kustaa II Adolf Thomas Rammin aatelissäätyyn. Rammeista tuli von Ramm. Samana vuonna 4. syyskuuta kuningas antoi  von Rammeille läänityksenä  mm. Vihterpalun kylän. Neljä vuotta myöhemmin Thomas von Ramm osti Väike-Pakrin saaren Keilan kruununkartanolta 400 riigitaalerin hinnalla.

Thomas von Ramm kuoli 16. helmikuuta 1631 ja haudattiin Tallinnan Tuomiokirkon Roosikrantsikappeliin. Thomas von Rammin pojasta Clas von Rammista tuli nyt Padisen, Vihterpalun ja Vasalemman kartanoiden omistaja.

Clas von Ramm jatkoi jo isänsä aloittamia Padisen luostarin muutostöitä asuintaloksi. Luostarin kirkkoon tehtiin välikatto ja seinät. Ulkoseiniin tehtiin avarat ovet ja ikkunat. Kirkon länsipuoleiseen holvistoon rakennettiin keittiö ja ruokasali. Jo Liiwinsodassa pahoin vaurioitunut itäsiipi remontoitiin täydellisesti uudesti makuuhuoneiksi. Huoneisiin tuotettiin kauniisti koristellut hollantilaiset kaakeliuunit.

Padisen kartano oli von Rammien pääsääntöinen asuinpaikka mutta on tiedossa, että välillä asuttiin myös Vihterpalussa, lähinnä ilmeisesti kesäisin. Mm. 1755 Reinhold von Ramm (90 vuotiaana) kuoli Vihterpalussa.

Padisen ja Vihterpalun kartanot säilyivät von Ramm suvulla aina vuoden 1919 maareformiin asti.

Vihterpalun kartanon kulta-ajan voidaan sanota alkaneen 1820-luvulla. Elisabeth von Ramm oli avioitunut Gustav von Knorringin kanssa 1812. Vuonna 1820 alkoi uuden päärakennuksen rakentaminen myöhäisklassiseksi palatsiksi, jollainen se tänäpäivänä on. Vuonna 1825 venäläisen kirjailjan Alexander Pushkinin matkaseuralainen kreivi Pjotr Vjazemski kuvaa Vihterpalua kirjeessään vaimolleen seuraavasti:

"Talo on erittäin kauniisti rakennettu ja sisustettu ja maksaa todellakin 5-kertaa vähemmän kuin samanlainen talo kotona. Kartano on meren ääeressä ja parvekkeelta paistaa meri ja Baltiiskin (Paldiski) satama. Talo on niin päältä kuin sisältäkin loistelias...”.

Kartanon päärakennus on suuri myöhäisklassinen rakennus. Talon fasaadia kaunistavat 3 kolminurkkafrontoonia. Keskiosaa kaunistaa 8 korinttilaista pylvästä. Rakennuksen takaa terassilta laskeutuvat suuret portaat kartanon puistoon.

Vihterpalun viimeinen von Ramm oli Sophie von Rosen syntyään von Ramm. Viron itsenäistymisen jälkeen vuonna 1919 maassa toteutettiin radikaali maareformi, jolloin lähes kaikki Viron kartanot kansallistettiin ja maat jaettiin virolaisille talonpojille. Viimeiset von Rammit puistuivat Virosta 1939.

Viron ensimmäisen tasavallan aikana Vihterpalun päärakennuksessa toimi koulu, kesäisin pioneerileirit. Viron uudelleenitsenäistymisen jälkeen kartanonpäärakennusta ja puistoa tarjottiin takaisin von Rammien jälkeläisille mutta kartanon erittäin huonon kunnon takia luopuivat tarjouksesta. 1994 järjestetyssä huutokaupassa norjalainen liikemiesryhmä voitti kartanon itselleen. Maksoivat käsirahan ja nousivat Estonia laivaan, joka samana yönä uppoi Itämerellä.
 
Vihterpalun uusi kukoistuskausi alkoi vuonna 2000, jolloin suomalainen teollisuusmies Timo Lemberg osti kartanon ja aloitti mittavat korjaus ja entistämistyöt. Kartano avattiin juhlallisin menoin vuonna 2005. Tunnettua on, että Vihterpalun kartano on yksi Viron parhaiten entisöityjä kartanoita. Jo lyhyen toimintakautensa aikana Vihterpalun kartano on lunastanut paikkansa tunnettuna, turvallisena ja tasokkaana kokous- ja juhlakartanona. Tästä kulttuurisesta suurteosta omistaja on saanut lukuisia kunniamainintoja mm. Viron Tasavallan pääministeriltä.