《內在體驗》……它根植於這樣的夜：狂喜、焦灼、猶慮、質疑、無邊、未知……一頭獸與另一頭獸相互對峙，攪動思想之激情;瘋人與醉者尖叫、沉思，從神殿中穿過，並摧擊神像;在“自身性”及其缺失或不可能性上打轉的靈魂踉踉蹌蹌，於悖論中反覆呢喃……這是一個迷狂、驚異、不安的文本，它給出了一個在狂熱和痛苦中探尋“出離於我之外”的極限體驗的身影。彷彿一切狂躁、悖謬、不純的聲音都被攪動了。它屬於酒神和夜，其話語、言説及形式都充滿了巨大的蠱惑力。
這個文本內部迴響着尼采的強音。“上帝死了”及反基督的思想，對理性和道德主體的批判，殘章斷片式的激情書寫……都是尼采對巴塔耶的奠基性贈予。巴塔耶曾説過：“除了(少數)偶然的例外，我在世間的同道就是尼采……”1914年，巴塔耶曾皈依天主教，後來陷入了信仰的危機。正是尼采及其思想，成了他從危機中走出來、併成為激烈的反宗教者的關鍵一環。他全面接受了尼采的思想學説，並向其更深處探出並延展他的觸角，從深層意義上追問“上帝死了”之後的“我的存在”……
在二次世界大戰期間，巴塔耶受黑格爾、尼采、海德格爾的影響，計劃創作一系列以合集方式出版、囊括在“無神學大全”標題下的書籍。這個標題與阿奎納的《神學大全》有着一種戲謔性和諷刺性的折射關係。作為“無神學大全”的首卷，《內在體驗》開篇就展開了對宗教教條及其神秘主義的批判，力圖從內在體驗的角度探討“內在宗教的空間”。在巴塔耶看來，宗教的教條限制了人類的經驗，降低了人類內在體驗的可能性。因此，他致力於“內在體驗”的思考，為了抵達一種可能性的極限。巴塔耶一開始就對其所言説的“內在體驗”做了界定：“我把內在體驗理解為人們通常所説的神秘體驗：迷狂狀態，出神狀態，至少是冥思情感的狀態。”它有別於日常體驗，而置身於奇特的體驗之中，比如大笑、啜泣、詩意、苦惱、狂喜、出神……它是一種與“人之可能性”相關聯的體驗。這種內在體驗的哲學是一種新的神秘神學，它與基督教的神秘主義不同，但卻又借基於基督教神學傳統，比如借用概念、引述論斷等。
在《內在體驗》中，巴塔耶記述了自身的“內在體驗”，以及對這些體驗的思索和追問。同時，對激進的基督徒們的引述和評論，關於笛卡爾、黑格爾、尼采等哲學思想家的分析和斷想，還有對普魯斯特、蘭波等文學家的考察，以及圍繞着耗費、犧牲和獻祭的思考，如呼吸一般彌佈於書中。巴塔耶以思想斷片、格言、殘章、警句、摘錄等碎片化的形式，將所有這一切體驗及理性的話語激烈地表達出來——既攜有尼采的高呼和嘲諷，又帶有布朗肖的反思和呢喃。它們是敏感的、狂暴的、斷裂的，它們在自我撕裂、反覆痙攣、來回踉蹌，似乎被拖入了一股巨大力量的漩渦之中。伴隨着這激烈的渦流，它導向虛空，或更深地揭示出“虛無的過剩”，並通往可能性的極限。在可能性的極限處，理性的大廈被消解，體驗的渦流正在融合所有……
在可能性的極限處，人自身進入了最根本的內在體驗之中。在可能性的極限處，非知、迷狂、交流、共通體——這些巴塔耶思想的核心概念——如同行星，相互環繞，相互運作。在巴塔耶看來，內心體驗是不可盤算的，它通向“非知的黑夜”。“我要讓體驗隨性而行，不要通向一個被提前給定的終點。並且，我馬上就説，它不通向任何的避風港(而是通向一個困惑之所，一個無意義之地)。我要讓非知成為它的原則……”這種“非知”從總體上否定知識和理性，抹除主客體的界限，挺向人不再可能的可能性……與此同時，非知不可避免地通向迷狂，它們之間存在必然的交流。“我留在不可容忍的非知當中，這樣的非知除了迷狂本身外，就沒有別的什麼出路了。”
“……內在體驗就是迷狂。”迷狂，在極大程度上貫通了巴塔耶關於內心體驗的思考。這一概念源自於傳統的神秘主義，與巴塔耶對神秘主義的批判有所矛盾。這裏存在着一種悖論。然而，正是這悖論構成了巴塔耶思考內在體驗的一個關鍵點。阿甘本在《巴塔耶與至尊權的悖論》一文中引述了布朗肖對這一悖論的洞察：“正如布朗肖已經看到的，巴塔耶雖然與神秘主義的傳統保持着距離，但他從中借用了迷狂的術語，這是一個決定性的悖論，即主體的自身之外的存在，神秘主義的傳統已經暗含了某種東西，這種東西事實上在一個人經歷它的時候被體驗為消失;在它應向體驗活生生地呈現出來的時刻，它必須對自身缺失。”這是一種“主體的悖論”。迷狂，道出了一種“自身”內在的不可能性。這又回應了“非知”，並指向了巴塔耶所思考的“共通體”及“交流”(“迷狂，似乎，就是交流”)。
這非知、迷狂的“內在體驗”，超越了已知的可能性，敞開於可能性與不可能性之間，或者説置身於從可能性躍向不可能性的那個點之上，從而開拓了存在的邊界。德里達認為：“巴塔耶絕對不是一個新神秘主義者。那種作為內在體驗暗示自身的東西也並非一種經驗，因為它與任何在場、任何圓滿沒有關係，而只與它在痛苦中經歷的那種不可能相關。”這種“不可能”與非知、迷狂是一脈並連的，它們通向一種“非體驗的體驗”(布朗肖語)。巴塔耶所探尋的是一種尚未體驗的存在：它在感官經驗之外，植根於苦惱與迷狂之中;它通向可能性的極限，或一種不可能性、一個不可命名的世界。