1864年，曾在印度發展鐵路初期擔任重要角色的英國鐵路工程師Macdonald Stephenson首先提出興建一條連接中港兩地鐵路的構思，可惜當時並未獲得北京的清政府與及在香港的主要商家支持。有關建議一直被擱置，直至30年後才再次得到認真考慮。

1890年代，歐洲列強在中國互相較勁，擴展勢力，興建連接中港兩地鐵路的構思被再度重提。當時的英政府尤其關注在華南地區與法國的競爭，所以向清政府爭取將多項鐵路特權批予中英銀公司，這家聯營公司由怡和洋行及香港上海匯豐銀行在1898年成立。獲批予的特權包括建造及營運一條由九龍至廣州的鐵路。

中英銀公司隨後開展了初期的測量工作，不過在集資建造鐵路時則遇到相當困難。最後在1904年底決定，該鐵路在香港範圍內的路段，即位由尖沙咀至羅湖(英段)，會由香港政府興建；而其餘路段，即羅湖至廣州(華段)，則由中英銀公司興建。

經過詳細測量設定鐵路最後走綫後，香港政府工務局在1905年12月動工進行由大埔墟至粉嶺段的土方工程。

受制於熟練勞工短缺、工人感染瘧疾、腳氣病及痢疾發病、以及需在惡劣的地質下建造筆架山隧道等因素，興建鐵路時所面對的困難遠超當初預計。終於在1910年10月1日，單軌行走的九廣鐵路正式通車。

初期的九廣鐵路列車只可以行走英段鐵路。至於通往廣州的華段鐵路工程則於一年後，即1911年10月5日才完工，而僅五天後爆發的辛亥革命，最終導致清朝末代皇帝於1912年退位。