La familia fue fundada cuando el primer señor de ésta, Lord Agetor, decidió traicionar a su antiguo señor, Lord Lyed Hightold, vasallo a su vez de la casa Tully, jurando lealtad a la casa Serret de Silverhill, vasallo de la casa Lannister.

Esto, como es natural, no sentó bien entre la nobleza Tully, pero el apoyo de los Lannister fue decisivo ante la escisión de la nueva casa y, finalmente, la joven casa Harvestone consiguió el derecho de ser sus propios señores y disponer de sus propias tierras.