從淡水福佑宮走上陡峭的階梯後，在重建街旁，矗立了一座三層樓高的紅樓，在廣場眺河景，海天一色，夕陽照在人的臉上，紅通通的好像喝醉酒一般，回過頭來看這座紅樓，以為是官方所屬建築，但其實是私人所有。
三樓視野風景極佳，不輸土耳其伊斯坦堡的樓頂咖啡館。一樓是餐廳，氣派的圓拱迴廊，挑高的地基，底下有防潮通風口，仔細觀察大門兩側柱子下方的裝飾，左右兩邊堆疊紅磚的樣式不同，為這棟房子製造一些趣味。
紅樓與紅毛城內的英國領事館建築風格類似，有人推測可能是同一個建築師所設計規劃，利用紅磚與石頭，加上藍綠色瓶子形狀的護欄，融合漢式與洋式的外觀，反而比領事館更具特色。
1895年，富商李貽和經營船運行，在此購地蓋屋。除了中國進口的紅磚、石材外，屋內使用北投的唭哩岸石，洋式的壁爐，可以安然度過冬天。
1913年，李貽和的船公司因為兩艘自家的船對撞沉沒，經營發生困難，剛好當時當任台北廳參事的洪以南的太太生病，需要較好的環境靜養，於是買下了紅樓。隔年，洪以南升任淡水區長，同時也擔任傳統詩社瀛社的社長，經常邀請文人來家裡作客，在庭院吟詩作對。台灣總督曾經視察淡水，參訪紅樓，取名為達觀樓。
1916年3月3日，洪以南以「達觀樓即事聯句有序」發表一篇漢詩，以下節錄部分，可以一覽當年風情。
滿帆春雨淡江濃。流水綠溪映遠峰。
飲罷晚來晴更好。澄光廟裡一聲鐘。
白雲歸岫夕陽紅。水色山光一望中。
款乃歌聲歸棹念。綠楊惆悵負東風。
1927年，洪以南過世，兩年後，兒子洪長庚使用「達觀」之名，在大稻埕創立的達觀眼科醫院。
1963年，在淡水賣魚丸洪許俸女士聽說紅樓要出售的消息，馬上找到屋主買下來，當時一樓外面的欄杆傾倒，紅磚上有被子彈掃射過的痕跡，隨時有崩落的危險，整修房子時用黃色沙漿將紅磚包覆，外觀變成了黃色系，也因此被稱為「黃樓」。
1998年，重新整修將黃色的沙漿去除，露出本來紅磚、石頭、唭哩岸石等，紅磚牆面還有彈孔的痕跡，木頭地板改以目前較常使用的輕型鋼，2000年，紅樓重修恢復紅磚外牆。
矗立一百多年的紅樓，看盡多少商賈起落、文人吟詩、畫家來去，第一任瀛社社長洪以南命名「達觀樓」，後代把「達觀」兩字擴展到眼科醫院的名稱，第三任屋主洪家成立了達觀樓公司，除了兩個洪家家族記憶，紅樓也是淡水求學的學子難忘的回憶。
