奈良時代に僧行基により開創され、初め勝賀山のふもとにあり勝賀寺といった。平安初期に僧空海（弘法大師）が再建し現地に移した。嵯峨天皇の勅願寺に選ばれて、寺禄貫を賜り、朱雀天皇のとき、談議所（僧徒学問所）に選定された。鎌倉時代、この地の豪族香西左近将監資村（香西氏の祖）が、幕命をうけ堂塔を再建し香西寺と改称す。その後細川頼之が当寺を本津（香西東町）に移し、十一代香西元資は寺号を地福寺と改称す。天正年間戦火にあい、生駒親正が国主となり、再建ののち高福寺と名を変えた。満治元年、またも失火のため旧寺域（現在の地）へかえることになった。寛文九年、藩主松平頼重公が新伽藍を建立落慶し、別格本山・香西寺となる。その後当時の七堂伽藍はほとんど失火で焼失し、現在の建造物はその一部である。寺宝の毘沙門天立像（木造・檜一本造り、平安時代初期１０１センチ）は昭和十六年十一月、重要文化財に指定され、藤原時代弘仁佛としては、全国的にも逸品である。
