清朝康熙元年（1662年），52岁的李渔告别了风景如画的西子湖，举家来到人文荟萃、虎踞龙盘的六朝古都南京，1668年前后建成“芥子园”，取“芥子虽小，能纳须弥”之意。

　　早年，年少气盛的李渔虽然才高八斗，但所学所识并不能让他在科举考场上占优势，连连失利，让他彻底扼杀了从政之心，走上了归隐伊园作诗吟曲的生活。对此李渔曾感叹道：“才亦犹人命不遭，词场还我旧时豪。”还有一件令他烦心的事，就是五十岁之前还未育有子嗣，只好招沈心友为长女李淑昭的入赘夫婿。沈心友也就是后来的“芥子园甥馆主人”。

　　沈心友入赘李家之后，便成为李渔的得力助手，尽心尽力地管理书铺、编辑书籍、评点作品、诗词唱和、伴随出游。李渔也尽可能的鼓励和帮助沈心友，不惜以麈尾策其后。李渔曾作诗赞沈心友：“自汝入甥馆，予即东西驰。家政谁代庖，恃尔双雄雌。”

　　《芥子园画传》即是翁婿二人合力的杰作。该画谱由李渔倡编并亲自作序，女婿沈心友将家中原存的明代画家李流芳的课徒山水画稿四十幅，交由山水画家王概整理和增补，经三载增至百三十页，并由王概编成《青在堂画学浅说》，康熙十八年（1679年）在李渔的资助下套版精刻的《芥子园画传》初集《山水卷》出版，这便是《芥子园画传》的发端。

　　《芥子园画传》将树木山石、梅兰竹菊、草虫花卉，中国画中的各种符号一一分解整理形成图谱，为中国艺术史画下了浓墨重彩的一笔，也见证了芥子园里一段被后世传颂的“足称快婿惭翁老，肯觅封侯奈妇何”的翁婿情。