อยู่ภายในโรงพยาบาลเจ้าพระยาอภัยภูเบศร อยู่ห่างจากตัวเมืองประมาณ 2 กิโลเมตร ใช้เส้นทางหลวงหมายเลข 3069 ถนนปราจีนอนุสรณ์ ตึกหลังนี้เจ้าพระยาอภัยภูเบศร(ชุ่ม อภัยวงศ์) สร้างขึ้นเมื่อปี พ.ศ.2452  โดยให้บริษัทโฮวาร์ด เออร์สกิน เป็นผู้ออกแบบก่อสร้าง เพื่อถวายเป็นที่ประทับของพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว หากเสด็จมณฑลปราจีนบุรีอีก หลังจากที่ได้เสด็จในครั้งแรกเมื่อปี พ.ศ.2451แต่เสด็จสวรรคตก่อนในกลางปี พ.ศ. 2453  ตึกหลังนี้ได้ใช้รับเสด็จพระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัวในปี พ.ศ. 2455รวมทั้งพระบรมวงศานุวงศ์อีกหลายพระองค์คราเสด็จมณฑลปราจีนบุรีโดยที่ท่านเจ้าของตึกไม่เคยใช้ตึกหลังนี้เป็นที่พำนักส่วนตัวเลย ตราบจนสิ้นอายุขัยในปี พ.ศ. 2465 จึงได้มีการจัดตั้งศพของท่านไว้ชั้นบนของตึกนี้ก่อนการพระราชทานเพลิงศพในปีเดียวกันต่อมาพระอภัยวงศ์ วรเศรษฐ (ช่วง อภัยวงศ์) ได้น้อมเกล้าถวายแด่พระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัว เมื่อคราวอภิเษกสมรสกับพระนางเจ้าสุวัทนาพระวรราชเทวีซึ่งเป็นหลานสาวคนหนึ่งของท่านในปี พ.ศ.2480พระนางเจ้าสุวัทนาพระวรราชเทวีได้โดยเสด็จสมเด็จพระภคินีเธอเจ้าฟ้าเพชรรัตน์ราชสุดาสิริโสภาพรรณวดีพระราชธิดา ไปประทับที่ประเทศอังกฤษจึงประทานที่ดินและสิ่งปลูกสร้างทั้งหมดแก่มณฑลทหารบกที่ 2 จังหวัดปราจีนบุรีเพื่อใช้เป็นสถานพยาบาลสำหรับทหารและประชาชนทั่วไปต่อมาได้โอนมาเป็นของกรมสาธารณสุขและโรงพยาบาลแห่งนี้ได้เป็นโรงพยาบาลประจำจังหวัดปราจีนบุรี ทำพิธีเปิดเมื่อวันที่ 24 มิถุนายน พ.ศ. 2484และเปลี่ยนชื่อเป็น
" โรงพยาบาลเจ้าพระยาอภัยภูเบศร " ตึกหลังนี้ได้ใช้เป็นห้องตรวจโรค ห้องจำหน่ายยา ห้องผ่าตัด และห้องคนไข้หญิง จนกระทั่งในปี พ.ศ.2512 การก่อสร้างตึกอำนวยการได้เสร็จสิ้นลง ทางโรงพยาบาลจึงใช้ตึกหลังนี้เฉพาะการสัมมนาในบางกรณี ในวันที่ 25 มกราคม พ.ศ.2533 กรมศิลปากรได้ประกาศขึ้นทะเบียนตึกเจ้าพระยาอภัยภูเบศรเป็นโบราณสถาน และในวันที่ 3 พฤศจิกายน พ.ศ. 2537 ตึกหลังนี้ได้ใช้รับเสด็จสมเด็จพระเทพรัตนราชสุดาฯ สยามบรมราชกุมารี ในการเสด็จส่วนพระองค์เพื่อทอดพระเนตรตึกเจ้าพระยาอภัยภูเบศรตัวอาคารเป็นสถาปัตยกรรมยุโรปแบบบาโร้ค (Barogue) เป็นตึกสองชั้นมีมุขด้านหน้าตรงกลางเป็นโดม   ผนังด้านนอกมีลายปูนปั้นลายพฤกษาประดับซุ้มประตูและหน้าต่างภายในตึกแบ่งออกเป็นหลายห้อง ห้องที่งดงามที่สุดคือ ห้องโถงกลางชั้นล่างซึ่งยังคงลักษณะการตกแต่งภายในแบบเดิมอยู่ครบถ้วนตั้งแตลวดลายกระเบื้องปูพื้นภาพเขียนสีปูนเปียกบนเพดาน และลายปูนปั้นหัวเสาปัจจุบันใช้เป็นที่จัดแสดงประวัติเจ้าพระยาอภัยภูเบศร ของใช้ประจำตัว พระฉายาลักษณ์พระนางเจ้าสุวัทนาพระวรราชเทวี และสมเด็จพระเจ้าภคินีเธอเจ้าฟ้าเพชรรัตน์ราชสุดาสิริโสภาพรรณวดี ซึ่งทั้งสองพระองค์เป็นหลานปู่และหลานทวดของเจ้าพระยาอภัยภูเบศรด้วยห้องชั้นล่างซีกซ้ายของอาคารจัดเป็น   "พิพิธภัณฑ์การแพทย์แผนไทยอภัยภูเบศร"
โดยนายแพทย์ไพโรจน์ นิงสานนท์ อดีตปลัดกระทรวงสาธารณสุขได้มอบวัสดุครุภัณท์เกี่ยวกับยาไทย เช่น ตู้เก็บสมุนไพร ครกบดยา รางบดยา หินฝนยา ตำรายาไทย ฯลฯเพื่อใช้ประโยชน์ในการศึกษาการแพทย์ไทย และสนับสนุนการจัดตั้ง "มูลนิธิหมื่นชำนาญแพทยา" ขึ้น หมื่นชำนาญแพทยา(พลอย แพทยานนท์)เป็นบุตรของแพทย์หลวงประจำพระองค์ของพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวมีความเชี่ยวชาญเกี่ยวกับการแพทย์แผนไทยเป็นอย่างมาก พิพิธภัณฑ์การแพทย์แผนไทยอภัยภูเบศรเปิดบริการให้เข้าชมเมื่อวันที่ 24 มิถุนายน พ.ศ. 2539