1953年11月庐山管理局成立园林文物科和房地产管理科，接管庐山寺庙、名胜古迹、别墅内收集来的各类文物，1955年7月庐山管理局文教卫生科成立庐山文物清理工作组，江西省文管会派两位专业人员来庐山协助工作，对园林文物科、房地产管理科、管理局办公室接收的物品进行了清理筛选，把适合文物收藏的物品登记入帐，在此基础上，1956年6月成立庐山文物陈列室，地址在大林路742号原国民政府实业部长吴鼎昌别墅，以陶瓷、古书画为展品，对观众免票开放。
    文化大革命初期，停止开放。1972年5月1日更名庐山博物馆，馆舍迁至火莲院2号原民国时期庐山图书馆旧址，以通史陈列向观众开放，之后以馆藏文物陈列为主要内容，参观门票5分钱，1980年增设《庐山地形模型》和《庐山第四纪冰川》陈列。
    1985年3月庐山博物馆迁至芦林一号原毛泽东同志旧居，利用旧居的房间开展陈列展览工作，内容有庐山历史、文物、别墅、第四纪地质等展览为主要内容，多次举办临时展览。至此，庐山博物馆的基本陈列形成了包括文史和自然史的地方特色，成为地方综合类博物馆。2003年实行免费参观。
    1998年由国家、地方财政和庐山博物馆共同出资建筑了文物仓库，使馆藏文物有了安全的存藏地，之后，配置了吸湿机，监控和消防报警设施。
    2009年5月被评为国家三级博物馆。
    工作人员由1956年1人，发展到现在工作人员共60人，其中在编在岗30人（研究生学历2人、本科学历12人、专科学历10人；高级职称3人、中级职称5人、初级职称8人）、聘用人员20人、离退休10人。党组织机构健全，成立了庐山博物馆党支部，党员人数18人。
    近年来，庐山博物馆在博物馆建设、文物安全、免费开放、优质服务、环境质量、管理保护、研究宣传等方面开展了一系列工作，取得了明显的成效，在保护、传承宣传庐山千古文化，促进旅游经济的发展中发挥了积极有效的作用。尤其是2013年实施完成了庐山博物馆改陈布展暨馆舍维修、道路和环境整治、安全防范项目建设，馆舍及环境面貌都得到了极大的提升，得到了社会各界普遍认可。