1898年发生的戊戌变法，是晚清王朝最后一次自救的努力，也是最后一次革新的机会。但是，它失败了。参加、支持和同情戊戌变法的，被杀的被杀，革职的革职。当时的翰林院里，张謇去办实业了，蔡元培回老家教书了，原本等着坐牢杀头的张元济，因李鸿章相助而幸免。李鸿章将他推荐给盛宣怀，于是他来到了盛宣怀创办的南洋公学当了译书院院长，后来还当了南洋公学的校长。
19世纪末的上海是中国的新学枢纽之所在，新式学堂、学会、报刊、出版印刷机构不断地从这里辐射全国。这对于主张以西学开启国民心灵的翰林张元济，无疑是巨大的吸引。南洋公学是当时中国少有的设备最完善、人才最鼎盛的高等学府。到南洋公学任职，可以说是张元济理想的延续。
在张元济的主持下，译书院出版了严复翻译的《原富》。这是英国学者亚当·斯密的著作。在100年后的今天，这本书仍然是经济学的经典著作。
当时，张元济看重的是英才的培养。他和蔡元培等很多先贤一样，以培养人才为首要，他们痛感变法维新的失败是没有人才的基础。所以，张元济在南洋公学期间，创办了南洋公学特班，这个“特班”，按盛宣怀的说法，就是为中国的将来培养“大才”。特班只有一届学生，却出了邵力子、李叔同、谢无量等人。
然而时过三年，张元济却做出了一个令人惊讶的决定：辞去南洋公学的所有职务，加盟商务印书馆。
当年的商务印书馆只是一个手工作坊式的印刷工场，由排字工人夏瑞芳创办。张元济放弃了在南洋公学显赫的地位，到一个弄堂的小厂里，跟一个小业主合作，这样的转身，时人多有猜测和不解。
直到半个世纪后，因为中风已卧床数年的张元济用颤抖的手写了一首诗，告别商务印书馆同仁：“昌明教育平生愿，故向书林努力来，此是良田好耕植，有秋收获仗群才。”从诗中，人们读到了他平生的理想，也读到这样一个事实，他是自觉地把商务印书馆与中国教育的现代性变革连接起来的。
张元济走进商务印书馆的这一年，清政府颁布了倡导兴学的《学堂章程》，后来，科举也废除了，这是中国数千年前所未有的大变革。成千上百的与传统私塾、书院不同的新式学堂在全国各地纷纷成立。
当时中国不是没有教科书，但是都编得不好，一类是教会的教科书，从西方引过来的，对中国的国情不适合；另一类是读古书出身的老夫子编的，写得太艰深，也不符合教育学的规律。张元济认为，教科书的影响关系到一代乃至几代中国人的知识结构、思维方式的改变，他决定自己来编一套国文教科书。
张元济编课本的方法很独特，不是一个人单打独斗，而是大家围坐一起，就像今天开策划会一样，每个人都可以说出想法和主张，倘若是被大家公认为有价值的，则详细讨论。讨论者从儿童启蒙的特点入手，由简入繁、循序渐进。往往因为一个字，大家会争论得面红耳赤。每一个点都要讨论到所有参与者都没有异议为止。每完成一篇课文，大家再“轮流阅读，或加润色，或竟改作，相互为之，毫无成见”。
1904年，商务版《最新初等小学国文教科书》出版，被全国各地的学堂广泛采用。商务印书馆的发行所挤满了争购的人群。教科书在晚清时候的发行总量占到了全国的4/5，像最新国文教科书曾经翻印过三十几次，印刷总量达到一亿册，成为那个时代教科书的范本。其他出版机构争相效仿，再不能粗制滥造而牟利。书肆风气，为之一变。
在张元济的擘划下，商务印书馆编写了从小学、中学到大学的全套教科书，组织翻译出版大批外国学术和文学名著，其中严复翻译的西学名著和林纾翻译的欧美小说影响尤为广泛。编辑出版中国第一部新式辞书《辞源》，开创了中国现代工具书出版的先河。同时出版发行了《东方杂志》、《小说月报》、《教育杂志》等刊物。
当年知识分子走上“文化救国”道路的不在少数，惟有张元济选择了出版，他站到了幕后，在商务印书馆这个现代商业企业中书写了他的文化理想。在20世纪初的文化巨变中，商务印书馆完成了从印刷工厂到出版巨子的蜕变，成为晚清以来，普及、传播新知新学的文化重镇。到1910年，商务已是晚清仅有的15家资产超过百万元的企业之一。商务在张元济的手中实实在在地推动了中国文明的进步。
《新青年》的创刊，标志着新文化运动的开始，然而在这个新文化运动勃兴的年代，商务印书馆却显得落伍了。陈独秀、罗家伦等新文化的干将在报刊上点名批评商务的保守，商务的业绩日见衰退，1919年积压和滞销的书刊多达60万册。而对张元济来说，他考虑更多的是，曾经引以为豪的商务还能否担当起传播新学新知的责任？
当时商务印书馆的老人很多，用的都是文言文，于是张元济主持了“大换血”计划，主张用新人，办新事，首先从受新文化界猛烈抨击的刊物开始。1920年，茅盾走进了著名的《小说月报》。他起草了《改革宣言》，阐明不仅译述西洋名家小说，介绍世界文学的潮流，更要创造中国的新文艺。
革新后的《小说月报》一改过去刊载男女情爱、闲适生活的格调，倡导“为人生的文学”，迅速成为新文化运动中最有影响的刊物之一。著名的老舍、巴金、丁玲都是通过《小说月报》走上文坛的。
张元济以一种开明开放、兼容并包、海纳百川的胸怀和学术情趣，广集人才。据《商务印书馆大事记》记载：1920年到1922年间，陆续进馆的就有陈布雷、谢六逸、郑振铎、周予同、李石岑、王云五、竺可桢、任鸿隽、陶孟和、顾颉刚等，他们中的很多人后来都成为中国文化科学领域的一代宗师。商务印书馆也因此和五四时期蔡元培主持下的北京大学一样，成为“各方知识分子汇集的中心”。
到1926年，商务印书馆已经是远东最大的出版商。分馆不仅遍及中国，而且开到了香港南洋。在上海的宝山路，建起了规模宏大的商务印书总馆，涵芬楼也扩建成东方图书馆，向公众开放。