唐宋以降，古岡州即新會，在象山上有壹紫雲洞，就是道教壹直承傳和布教活動的地方，據《新會縣誌》記載，在清代嶺南道教興隆，民間信仰廣泛，在同治元年（1862年）就有道人在紫雲洞內奉祀呂洞賓祖師，在當地傳說呂祖為百姓消災造福非常靈驗，因此紫雲洞香火鼎盛，美名遠播。到民國期間，僅有道士梁榮（俗稱字紙榮）在會城紫雲洞守祠， 沒有道壇設置。 該廟後來被毀與戰火。上世紀90年代，信眾倡議重建紫雲洞，經熱心人士與政府有關部門計劃重建該廟，後由香港“譚兆慈善基金”捐款三千余萬元，易地在圭峰山國家森林公園重建，並正名為紫雲觀。經1996年奠基，1998年動工，主體工程歷於2001年6月完成，並於2002年6月26日神象開光並對外開放。
紫雲觀抱青山、面碧水，居聖境、處靈氣之中。宮觀建築面積4．6萬平方米，觀內***有大小殿堂9座，大小神像91尊。建築工程由南京東南大學建築系潘谷西教授和江蘇古建築園林設計所何建中總建築師設計。由上海佛道教藝術研究專家胡建寧研究員進行內飾及神像的藝術設計。紫雲觀建築設計博采道教傳統建築與中國明清傳統建築風格之長，宮殿建築氣勢恢宏、莊嚴肅穆，殿內神像道骨清相、神態逼真、清新灑脫、活靈活現。在國內同類道觀中獨具匠心、首屈壹指。倍受香客、遊人等觀賞者喜愛。
紫雲觀具有豐厚的歷史傳承以及華麗脫俗的建造，成為了廣東省最具規模的道教宮觀之壹，並且成為當地政府推介的精品旅遊線路中的定點旅遊景區。
易地重建的紫雲觀是廣東道教的新星，自開光以來，觀內教職人員同心協力，在履行宗教傳道解惑的基礎上，積極參與者各級各類教務活動及社會事務，並對現代宗教如何服務社會、服務地方經濟等課題進行了有效的探索，使得紫雲觀在國內外道教界斬露頭角，相信在不久的將來，紫雲觀的影響將會進壹步擴大，並在弘教及服務地方等方面取得更大的成績。