“绩溪城处于万山之中，弹丸小邑，民情纯朴。”这是清朝文人沈复（三白）在他的《浮生六记.浪游记快》中对绩溪的描述。以“弹丸”喻绩溪，是以显示绩溪之小。据史载，绩溪于唐代宗大历元年（766年）开始置县，至今有1230余年的历史。
绩溪虽小，但它是以独特文化享誉世界的古徽州中心地带。在绩溪境内有徽山、徽水、大徽村，绩溪县城就在“三徽”之南不远处。宋代宣和三年（1121年），改歙州为徽州，就是以徽山、徽水、大徽村而得名。由是观之，绩溪实乃徽文化的发源地。江南通志云：“大江之东，以郡名者十，而士之慕学，新安为最；新安以县名者六，而邑小士多，绩溪为最。”《绩溪县志》（清朝乾隆时编）载：“其事业宋之两侍御，明之三尚书，其文章则有环谷之讲学，渔隐之论诗。”《绩溪县志》（清朝嘉庆时编）称：“邑小士多，益自康范先生以名教典型，阐明理学，闻风兴起，迄今犹深仰止焉。”弹丸绩溪，犹如“东南邹鲁”。据史料记载，北宋初年绩溪就建有多所书院、书屋，始建于元代的县学大成殿和建于清朝道光年间的县学明伦堂考棚，至今还完好地矗立在县城内；而自宋至清，绩溪籍的进士就有90多人，并出现一批名官硕儒，如宋朝的胡舜陟及其子、著名诗词史作者胡仔；明朝的“同宗二尚书”胡富（户部）、胡宗宪（兵部），还有同姓不同宗的工部尚书胡松；清朝的“礼学三胡”胡培与其祖胡匡衷、叔胡秉虔。近现代绩溪更是士多如林，如被视为早期启蒙主义者邵作舟，留曰返国后推出中西医结合的医家汪惕予，一代国学大师、五四新文化运动先驱胡适，现代出版家汪孟邹，我国首位用标点符号整改出版古典小说名著的出版家、翻译家汪原放，湖畔诗人汪静之等。
在近代，“五四”新文化运动兴起，绩溪人胡适成了新文化运动的先驱和倡导者。当时，全国新文学作家142人，而绩溪就有4人，他们是胡适、汪静之、胡思永和章依萍。
绩溪地处徽州纵深地带，人口正常年份不足十万，最少年份才四五万人，可是，绩溪人文底蕴的密集度是惊人的。全县出现了龙川、伏岭、湖里、仁里、旺川、宅坦、冯村等众多的“举人村”、“进士村”；现当代，又出了胡适、章基嘉、鞠躬、洪德元等名士，按人口比例，可谓全省之最。