吴芾，字明可，台州仙居人。举进士第，迁秘书正字。是时秦桧已专政，芾与桧旧故，退然如未尝识。公坐旅进，揖而退，桧疑之，风言者论罢。通判处、婺、越三郡。何溥荐芾材中御史，除监察御史。时金将败盟，芾劝高宗专务修德，痛自悔咎，延见群臣，俾陈阙失，求合乎天地，无愧乎祖宗，则人心悦服，天亦助顺，上韪其言。迁殿中侍御史。两淮战不利，廷臣争陈退避计，芾言：“今日之事，有进无退，进为上策，退为无策。”既而金主亮毙，上疏劝亲征。车驾至建康，芾请遂驻跸，以系中原之望，又言：“去岁两淮诸城望风奔溃，无一城能拒守者，此秦桧求媚媾和之余毒也。能反桧壅塞言路、挫折士气之歧途，则士气日振，而见危授命者有人矣。”知婺州，劝民义役，金华长山乡民十有一家，自以甲乙第其产，相次执役，几二十年。芾舆致十一人者，与合宴，更其乡曰“循理”，里曰“信义”，以褒异之。
知绍兴府。会稽赋重而折色尤甚，芾以攒宫在，奏免支移折变。鉴湖久废，会岁大饥，出常平米募饥民浚治。芾去，大姓利于田，湖复废。权刑部侍郎，迁给事中，改吏部侍郎，以敷文阁直学士知临安府。内侍家僮殴伤酒家保，芾捕治之，狥于市，权豪侧目。执政议以芾使金，复除吏部侍郎，且议以龙大渊为副，芾曰：“是可与言行事者邪？”语闻，得罢，不行。下迁礼部侍郎，力求去，提举太平兴国宫。时芾与陈俊卿俱以刚直见忌，未几，俊卿亦引去，阎安中为孝宗言：“此非国之福也。”后起知太平州，造舟以梁姑溪。历阳卒久戍，溃归，声言欲趋郡境，芾召而厚犒遣之，然密捕倡乱者系狱以闻。诏褒谕。芾前后守六郡，各因其俗为宽猛，吏莫容奸，民怀惠利。屡告老，以龙图阁直学士致仕。后十年卒，年八十。尝曰：“视官物当如己物，视公事当如私事。与其得罪于百姓，宁得罪于上官。”立朝不偶，晚退闲者十有四年，自号湖山居士，为文豪健俊整，有表奏五卷，诗文三十卷。