Ngôi nhà được thiết kế bởi KTS John Lautner vào năm 1961. Ngôi nhà nằm trên vách đá ở Beverly Hill có tầm nhìn ngoạn mục nhờ những bức tường kính không khung và được thiết kế theo chủ đề đầy góc cạnh. Phía dưới là Club James, một câu lạc bộ đêm, nơi tổ chức những bữa tiệc của rất nhiều ngôi sao.

Là một nhà đầu tư bất động sản và là một fan lớn của NBA, Goldstein đã khoản đãi những ngôi sao bởi bộ sưu tập kì dị của mình. Ông đã tạo nên một ngôi nhà mang tính biểu tượng cho bảo tàng nghệ thuật Los Angeles.