都城藩家老，龍岡棲山次子，都城藩士上原尚實養子。1877年入陸士舊3期，1879年12月22日授予陸軍少尉軍銜。歷任陸士教官，工兵第5大隊長，參謀本部副官兼陸軍大學教官。甲午中日戰爭任第1軍參謀，第1軍參謀副長。參謀本部第四部長，參謀本部第三部長兼第五部長，海牙和平會議隨員。1900年7月11日晉升陸軍少將。陸軍炮工學校校長兼參謀本部第3部長，工兵監，日俄戰爭任第4軍參謀長，輔佐丈人野津道貫大將。戰後再次任工兵監。1907年9月21日因日俄戰爭戰功授封男爵。
後歷任第7師團長，第14師團長，陸相。1912年年底陸軍增加駐朝鮮的兩個師團的提案為內閣否決後，受參謀總長長谷川好道指使，向天皇提出辭職，並不指定後繼人，從而搞垮了第二次西園寺公望內閣（“軍閥毒殺內閣”）。後任第3師團長，教育總監。1915年2月15日晉升陸軍大將，同時兼任軍事參議官。1915年12月17日任陸軍參謀總長,1918年8月在一戰中派遣日軍出兵占領蘇聯的西伯利亞。1919年在他的主張下，關東都督府被撤銷，實行軍政分離，成立了關東廳與關東軍（首任軍長為立花小一郎）。1921年4月18日升子爵，4月27日名列元帥府，成為元帥陸軍大將，此後一直到去世始終在陸軍中保持著巨大的影響。1923年3月17日參謀總長辭職，次年5月10日改任議定官。1933年11月8日去世，追授大勛位菊花大綬章。曾獲一級金鵄勳章。女婿內務省官吏大冢惟精，實業家大林義雄，官吏小澤凱夫。
