根据西沙考古发现证实，或许因为有唯一的淡水井，甘泉岛上唐宋时期便有我国人定居于此，但是到了清末，南海诸岛的固定居民却并不多，很多岛屿一直处于无人状态。
然而让人感到出乎意料的是，南海诸岛中的许多岛屿，虽然缺乏居民生活的条件，却有不少庙宇。根据1974年至1975年文物普查的结果，仅在西沙群岛各岛，便有十三座庙。
这十三座庙包括——永兴岛上一座（名为“孤魂庙”，已拆毁），甘泉岛上三座，琛航岛上两座（已拆毁一座），和五岛上两座（1973年拆毁一座），北岛上一座，广金岛上一座，赵述岛上一座，珊瑚岛上一座（已拆毁）。
这些庙的建造时间从明代到民国都有，大多用珊瑚石板砌成，造型十分简陋。较大的也只是单间房屋，有四面围墙（多为珊瑚石板建造，少数采用砖砌）。而较小的一般只有半米高左右，仅可在前点香火祭祀而已。所有小庙的顶部都已经坍塌不存，但有筒瓦、板瓦发现，庙内有神龛、供桌、神像等，有的庙门外还有一道曲尺形的护墙。
我们可以通过一批照片看到这些小庙1974年时的境况：
这些庙宇到七十年代已经十分荒败，一方面是日法两国曾侵占我西沙群岛部分岛礁，有意破坏我岛上建筑和历史遗迹，以毁灭岛屿古来为我所有的历史证据；另一方面则是因为建国后提倡反封建无神论，有一段时间里不再有渔民前去供拜和修理，在严酷的自然环境中，比较容易损毁。
近年来，由于在西沙定居和进行渔业生产的人员日多，有些庙宇得到了修复和扩建，从打鱼人寻求精神安慰的角度来说，也是可以理解的。
至于庙宇中供奉的是什么神，也无法完全分辨清楚，娘娘、土地、海神都有，其中特色是“孤魂庙”。
庙名“孤魂”是何意？原来南海有传说，明代曾有一百零八位渔民出海捕鱼，为海盗杀害，因孤魂不得还乡，常年在海上游荡，并时时显灵帮助后来的渔民——当地出海的渔民都称“兄弟”，而渔民们感其佑护，便为其立庙祭祀。
永兴岛与和五岛上的庙宇前，各有一副对联，分别是“兄弟感灵应，孤魂得恩深”“前向双帆孤魂庙，庙后一井兄弟安”。从这里都可以读出渔民“兄弟”与“孤魂”亡灵之间的关系——孤魂护佑渔民平安，渔民祭祀使孤魂得到慰籍。这可以算是南海一种独特而原始的祭祀文化了。
虽然十分简陋，但远海迢迢，到此兴建庙宇也是十分困难的事情，西沙群岛怎么会有这么多座庙呢？难道在一座岛上建庙祭祀还不够吗？
在1975年进行西沙文物普查时，工作人员也对这件事颇为困惑，经过向渔民询问，才知道这些庙宇除了祭祀以外，还有一种功能。按照民间规矩，最先上岛盖庙的渔民会受到同业们的尊敬，在这里进行渔捞有优先权，对一些古代庙宇进行修缮，可以获得同样近似“岛主”的敬畏。所以，几乎每个稍大一些的岛屿上都能看到渔民们设立的庙宇了。
建庙的谜题比较轻易地解开了，但西沙群岛的庙，有的还守护着至今我们解不开的谜团。
比如，1973年，民兵在永兴岛孤魂庙旁发现了一块埋藏于地下的石碑，是用灰色麻石刻成。石碑质量较好，长九十二厘米，宽十九厘米，厚八厘米。经过鉴定，这是当时的中国政府1921年派人到此巡视时设立的“视察纪念”碑。
而1974年，又在北岛珊瑚石小庙旁进行文物考察时，发现了两块被破坏的石碑，经过对合，基本能够辨认碑上的文字。
细细品读这三块碑，可以找到很多重要信息。
这三块碑都是麻石所刻，而当地为珊瑚岛，没有这样的石料，说明它们都是从大陆运来的，风高浪急，海运艰难，中国从清代以来，对于到西沙巡视的重视由此可见一斑。
这其中，清光绪那两块碑，让我们深感历史的迷雾之深。
根据文献记载，清末广东水师提督李准曾率海军琛航、伏波两舰视察西沙，传诵一时，这“视察纪念”之碑，或许便是他们当年的遗物。但是，李准这次巡海究竟在何时，史家屡有争议。
李准曾回忆，这次巡海发生在1909年，当时巡阅西沙十五岛，命名刻碑，绘图而还。并说明此事发生在中日东沙群岛之争后。
然而，他在回忆中的描述显然与这个时间不符：
“东沙岛之案交涉既终，因思粤中海岛之类于东沙者必不少。左翼分统林君国祥，老于航海者也，言于余曰：距琼州榆林港迤西约二百海里，有群岛焉，西人名之曰怕拉洗尔挨伦（即西方对西沙群岛的非正式称谓“帕拉塞尔群岛”），距香港约四百海里，凡从新加坡东行来港者，必经此线……余极欲探其究竟，收入海图，作为中国之领土，因请于安帅，而探此绝岛。
安帅极然余说……乃以航海探险之事属之林君国祥，乘伏波、琛航两舰。余带卫队一排，以排长范连仲领之。吴君敬荣为伏波管带，刘君义宽为琛航管带。余乘伏波，以林君为航海之主，悉听其指挥。王君仁棠随行参赞。”
李准谈到此次航海的指挥官和建议者，均为海军宿将林国祥。但林国祥在1908年已经去世，是不可能在1909年随同李准进行这一考察的。故此经重新考证，目前普遍的看法，这次巡航应该发生于1907年。
然而，1975年在西沙发现的这两块“光绪二十八年”的石碑，却让人对这个结论产生了怀疑。这是因为光绪二十八年即1902年，距1907年尚有五年之久，总不会五年前这石碑便刻好等着参加此次航行吧？
我们只能推测，可能在1902年或者更早，中国官方已经有了对于西沙群岛的巡视，李准1907年的考察只是最为正规和规模较大的一次罢了。
这个谜团，不算有答案，只能说等待后人更多的发现来佐证。
那么，在北岛上的两块石碑，怎么会被打碎了呢？推测是日、法侵占西沙群岛时，出于霸占我领土，销毁历史证据的原因，将我国建立的视察纪念碑毁掉，造成如此后果。甚至，这两块碑有可能原来并不是立在北岛上的，毁碑者是将各岛石碑拆除后运到北岛，统一打碎的。
如果是这样，今后北岛考古可能还会有新的发现。可能也正是因为担心被人毁坏而失去证实主权的意义，1921年民国期间那块石碑才会被埋在沙下。
这种事儿，希望以后不要再发生了。
