中央にむくり破風を冠した出入り口が設けられている。 この出入り口から屋内に入ると正面にニワ（土間）があり、向かって左側に傭漁夫達のスペース、右側に網元の住居スペースが有る。
この内部用途の違いが、外観にそのまま現れている。 傭漁夫のスペースである左側は、下見板を張った壁面にペディメントをあしらった窓が設けられており、洋風の構え。 対して右側は、垂木のデザインが繊細な下屋を設け、壁や戸袋部分の仕上げは簓後下見板となっており和風の表現。
中央の出入り口とは別に、網元専用の玄関が設けられている。
更に、建物手前の石積みのディテールも傭漁夫側が乱積みなのに対し、網元側が整形に加工した石を積んでいるという様に、仕様が明確に変えられている※1。
形式を折衷させながらも、破綻することなく優美な外観にまとめられているところが秀逸だ。 土間の上部には入母屋形式の煙出しが設けられており、外観を引き締めている。

写真１を見ると、あたかも山の中に建っているように見えるが、アングルを変えると、右の写真の様に海に面している。 北海道の日本海沿岸は、海と段丘の間に狭小な平地が形成される地形が多く、白鳥家もその様な場所に建てられた。

現在の建物は、1971年に開村百周年記念事業の一環として解体復元されたもの。 はまます郷土資料館として公開されている。