1894年中日甲午战争爆发后,田中义一于1895年任第一师团参谋，为第一师团制定了动员制度。内容非常细致，完成度很高，几乎是原方案被采用，其它师团也都把它借去使用。为此他得到认可，进入参谋本部第二部搞情报。田中学的是俄语，而且很不错。到二部报到以后，
二部把他派到俄国去留学去了。田中在俄国干得很卖力，每星期都拉着认识的老毛子去教堂做礼拜，还参了沙俄军，自己亲自去掌握第一手资料。到了日俄战争前夕，成了陆军首屈一指的俄国通。
当时伊藤博文出访俄国，想和沙俄谈判解决问题。田中仗着年少气盛，在伊藤面前极力反对与沙俄谈判，让伊藤大为生气。但是伊藤是生气管生气，对田中的才能还是很欣赏，在日俄战争时推荐他去满洲军当参谋。
据说在那里认识的还是胡子的张作霖，所以说日本陆军部最后定下来田中义一担任第一军军长的理由之一，就是他和中国人的总统府参谋总长张作霖关系不浅，有助于帮助日军提升在协约国联军中的地位和份量。
田中义一在打完日俄战争回参谋本部时已经是让人刮目相看了，加上田中又是长州人，“亲不亲，家乡人”，这就升了一级，到主管作战的参谋本部一部去了。在日本陆军参谋本部，一部是作战部、二部是情报部。
这田中义一到一部以后，捣鼓捣鼓，弄出一份叫《随感杂录》的意见书，里面从国家战略，军事战略一直侃到军队的组织，制度，通过儿玉源太郎大将就递到山县有朋元帅那儿去了。山县一看，嗯，不错，跟明治天皇一报告，回来对田中说：“你就搞个帝国国防方针看看吧”。
得到了日本陆军之父赏识的田中就拉着海军的财部彪大佐一起制定了个方案，规定陆军平时要25个师团，战时要50个师团，海军要建成八八舰队，接下来田中可谓一帆风顺，1909年田中升任军事课长，、第二旅团长、陆军省军务局长。
在此期间这厮主持修改制订了《部队内务书》、《步兵操典》《辎重兵操典》、《陆军教育令》、《陆军补充令》，他在任中的作为证明了他的实力。1910年11月，他一直倡导的帝国在乡军人会成立。
该会是将已经结束现役的后备役军人组织起来，既可削减国家军队维持费，同时又能把国家意志广泛传播到国民当中去（之后预备役也列入其中）。该会在起立之初仅以陆军为对象，从1914年开始把海军也加入进来，使该组织最终完善。
另外，他让强烈批判军阀势力扩大到政界的大隈重信担任帝国军人后援会会长，为此大隈不仅停止了对军部的批判，还转为军部的拥护者，开始和当时的桂太郎首相、寺内正毅陆相接近。
此后，担任军务局长的田中与上原勇作陆相一起在第二次西园寺公望内阁时提出增设两个师团以保卫朝鲜、满洲等新开拓的领土，由于当时政府奉行财政紧缩政策，没有答应他们的要求。上原陆相提出辞职，陆军拒绝提出后任陆相人选，内阁不得不总辞职。这次事件成为第一次护宪运动的导火索。
1913年末，田中义一赴欧美考察，回国后创立了青年团组织，企图通过官办组织来对应欧战开始后国内朝野思想混乱的局面。由于这个组织是针对小学毕业后到被征兵入伍之间的人员的组织，所以和在乡军人会一样发挥着向国民传播国家意志的作用。
1915年8月，作为幕后黑手，参谋次长田中义一少将策划了向袁世凯提出臭名昭著的二十一条，当然，这事最后无疾而终，袁世凯对二十一条中的第五条是怎么都不敢答应，当然列强不容日本独霸中国也是一个重要的因素，所以后来袁世凯政府和日本政府捣鼓出来一个民四条约。
原来这二十一条分为五号：第一号要求继承德国在山东的一切权利并扩大之；第二号要求扩大在南满、东蒙的各种利权；第三号企图控制汉冶萍公司；第四号要求中国沿海港湾岛屿概不租给或让与他国；第五号要求中国中央政府聘用有力之日本人为顾问，等等。
当时日本公使日置益要求袁世凯接受这些条件，并绝对保密。袁世凯决定与日本谈判，以最小代价了结此案。从1915年2月2日开始，外交总长陆征祥、次长曹汝霖等与日置益、日本公使馆参赞小幡酉吉等人开始秘密谈判。
后来中国有意地逐渐将谈判内容泄露出去。在谈判中中国代表对日本的要求有所抵-制。日本方面不断使用外交讹诈、武力恫吓等相威逼。4月26日，日本代表提出"最后修正案"，做了些小让步。当时，国内反对"二十一条"的呼声日渐高涨，广大人民群情激愤。
5月1日中国方面提出修正案，仍坚持自己的立场。日本政府删削了第五号要求，于5月7日向中国-政府发出最后通牒，限9日午后六时前答复。袁世凯政府最后妥协，接受日本提出的条件，25日与日本正式签订了《民四条约》。
《民四条约》由《关于南满洲及东部内蒙古之条约》、《关于山东之条约》及另附的十三件换文组成。这些条约及换文的内容主要有：1．在山东，日本不仅得以继承德国的一切利权，还得到中国-政府关于山东内地或其沿海岛屿一概不租让于外国等许诺。
2．在南满，日本得到延长租借地及铁路期限、其臣民得任便居住、往来并经营农工商业及租用土地等权利。3．在东蒙，日本得到其臣民与中国人合办农业和附属工业等权。4．汉冶萍公司可与日本资本家商定合办，中国不将该公司充公、收归国有或使其借日本以外的外资。5．在福建，中国-政府答应不允许外国在沿岸地方设造船所、军用贮煤所及海军根据地，也不借外资自办。
《民四条约》的签订，使日本侵略势力在满蒙、山东得到巩固和扩展，在华中华南也有所增进。这也算是在幕后一手操作的日本陆军部参谋次长田中义一少将于1915年10月晋升中将的功勋之一。