在日本生活的4年多時間，母親的工作亦不輕鬆。除了照顧父親，她還要照顧4個男孩的起居（包括前房母親——我們稱為莫氏母親所生的3個哥哥，加上母親潘氏自己所生的四哥），別的不説，光是做衣服、鞋襪，就有忙不完的工作。當時雖有一男僕、一女僕幫忙，仍然要在洋油燈下做到晚上十二時。
1913年冬，母親生下我，來年冬天她又懷孕在身。1915年3月，父親攜帶全家由日本返回老家掃墓，安排好母親待產後，又帶大哥潛明去日本。1915年7月五弟慈明出生。
父親在日本幫羅振玉整理藏書及古物，學術研究的成就是多方面的，有詩詞、戲曲等，最主要的是對甲骨文、金文、漢簡的研究，在當時就有世界性的影響。他既為羅氏工作，生活上自然需要依賴其資助，其時正值京都百物飛漲，日常費用，漸覺不充裕。而羅振玉曆年印書，所費甚多，父親不願再有累於羅氏，欲先返國。
通過同鄉鄒安先生聯繫，父親得上海英籍猶太人哈同之邀，回上海在哈同創辦的學術雜誌擔任編輯之職。1916年，父親攜帶大哥潛明由日本返國，居住上海愛文義路大通路吳興裏392號。1917年，妹松明出生。
當時在上海，家裏人口眾多。母親快生六弟，我已七歲，由三舅帶回海寧，住在外婆家。1919年10月，六弟登明出生。
父親在上海住了10年，主要是幫忙編書、做研究、寫書。
據蔣君章先生的回憶，上海哈同花園的正式名稱是“愛儷園”，園內設有“倉聖明智大學”。蔣先生説，開學儀式時，王國維先生排列第三——校長在最前面，其次是教務長和王國維先生等重要教習。他在小學讀書時，即已久仰王國維先生的大名。
他説，王先生是短短的身體，嘴唇上蓄着八字鬍鬚，瓜皮小帽，綴有紅帽結，後面拖着一根長辮子。這是他的特別標記。
在上海的這幾年，生活雖然艱難，父親著作卻頗多，漸受國內外學者的注意。外國學者與父親也常相往來。
1918年，父親拒絕了北京大學校長蔡元培的邀請，不願前往北大任教，反而前往倉聖明智大學擔任經學教授。日本京都大學有意延攬父親，也遭到婉辭。
1919年4月，羅振玉自日本返國，父親與伯希和（歐美公認的中國學領袖、探險家，也是敦煌盜寶的始作俑者）、羅振玉等在上海會見，論學為樂。日本人狩野直喜將他從倫敦大英博物館錄得的敦煌殘卷數篇，提供給父親，父親因此得以發表許多有關敦煌殘卷的文章。當年10月，父親開始為烏程蔣汝藻編撰《藏書志》，其後又為《浙江通志》撰寫文章，生活相當忙碌。
1921年，北京大學再度託請馬衡代邀父親前往擔任文科教授，不知何故，父親再度拒絕。或許當時父親仍為蔣汝藻編寫《藏書志》吧。一直到1922年年初，父親才答應擔任北大研究所國學通訊導師，不必前往北京任職，可以在上海繼續編書寫作。