从横切面看，脊髓中央是灰质，灰质的外面是白质。灰质两侧前端呈角状膨大，称前角，含有大量运动神经元的细胞体，其轴突组合成脊神经的前根，直接支配骨骼肌的运动。灰质两侧后端狭长突出，称为后角，内含感觉细胞，主要接受脊神经后根传入的感觉冲动，再由此传至中枢。在每侧的前后角之间还有一侧角，交感神经节前纤维的胞体多聚集在此。与前角、后角、侧角相对应，每侧灰质周围的脊髓白质又分前索、后索、侧索三个神经索。各神经索都有许多上行和下行纤维束，它们是联系脊髓和脑的传导通路。
灰质脊髓的内部结构呈蝴蝶形或“H”状，其中心有中央管，中央管前后的横条灰质称灰连合，将左右两半灰质联在一起。灰质的每一半由前角和后角组成。前角内含有大型运动细胞，其轴突贯穿白质，经前外侧沟走出脊髓，组成前根。颈部脊髓的前角特别发达，这里的前角细胞发出纤维支配上肢肌肉。后角内的感觉细胞，有痛觉和温度觉的第二级神经元细胞，并在后角底部有小脑本体感觉径路的第二级神经元细胞体（背核）。灰质周缘部和其联合细胞以其附近含有纤维的白质构成所谓的脊髓的固有基束，贯穿于脊髓的各节段，并在相当程度上保证完成各种复杂的脊髓反射性活动。
白质脊髓的白质主要由上行（感觉）和下行（运动）有髓鞘神经纤维组成，分为前索、侧索和后索三部分。
前索位于前外侧沟的内侧，主要为下行纤维束，如皮质脊髓（锥体）前束、顶盖脊髓束（视听反射）、内侧纵束（联络眼肌诸神经核和项肌神经核以达成肌肉共济活动）和前庭脊髓束（参与身体平衡反射）。两侧前索以白质前连合相互结合。
侧索位于脊髓的侧方前外侧沟和后侧沟之间，有上行和下行传导束。上行传导束有脊髓丘脑束（痛觉、温度觉和粗的触觉纤维所组成）和脊髓小脑束（本体感受性冲动和无意识性协调运动）。下行传导束有皮质脊髓侧束亦称锥体束（随意运动）和红核脊髓束（姿势调节）。
后索位于后外侧沟的内侧，主要为上行传导束（本体感觉和一部分精细触觉）。颈部脊髓的后索分为内侧的薄束和外侧的楔束。
