回老家时将仅有的2000两买了十方古砚，并盖了座房子珍藏，取名为“十砚轩”，并自号为“十砚老人”。在端州做官时，黄任曾得到一块好砚石料，为了找一位制琢砚台的高手，将石料在身边藏了十多。
后来打听到苏州有位制砚高手顾二娘，便从福建永福千里迢迢携石料赶到苏州，顾二娘见十砚老人这样诚心，石料也的确是块好料，就高兴地为他制琢了一方精美的砚台。
十砚老人十分感激，当即写下，了一首题为《赠顾二娘》的诗，刻于砚背阴，诗云：“一寸干将切紫泥，专诸门巷日初西。如何轧轧鸣机手，割遍端州十里溪。”
从此，两人结下了很深的交情。后来，顾二娘又为十砚老人制琢了仿明府青花砚等名砚。
而且，故宫博物院中至今藏有顾二娘遗韵佳作！