Daerah lain yang memiliki jalur kereta api adalah dua bagian di Sumatra. Satu terletak di sekitar Medan dan yang lain terdapat di daerah selatan pulau Sumatra.
Selama zaman kolonial Belanda transportasi rel di Indonesia terutama di Pulau Jawa dijalankan oleh pemerintah Belanda, Jerman dan Inggris. Rel kereta api yang pertama dibangun di bagian selatan pulau Jawa oleh Nederlandse Indische Spoorwegen Maatschappij (NISM) (Perusahaan Rel Kereta Api Belanda) pada sekitar tahun 1860.
Jalur kereta api pendek (narrow gauge) dibangun karena membutuhkan biaya yang rendah dan lebih menguntungkan. Rel kereta api ini panjangnya tiga kaki kali enam inci dan menjadi standar di pulau Jawa. Decauville atau rel yang panjangnya dua kaki dibangun sepanjang pabrik gula dan lokomotivnya menggunakan tenaga uap.
Selama penjajahan Jepang sekitar perang dunia pertama, beberapa bagian rel dipindahkan ke Manchuria.
Kereta api pertama di Indonesia dibangun tahun 1876 di Semarang (Kemijen-Tanggung yang berjarak 26 km), atas permintaan Raja Willem I untuk keperluan militer di Semarang maupun hasil bumi ke Gudang Semarang. Kemudian dalam melayani kebutuhan akan pengiriman hasil bumi dari Indonesia, maka Pemerintah Kolonial Belanda sejak tahun 1876 telah membangun berbagai jaringan kereta api, dengan muara pada pelabuhan Tanjung Priok Jakarta dan Tanjung Perak Surabaya.
