这件事的源头仍然是阴魂不散的日本人。山东半岛是中国的第一大半岛，海岸线漫长，良港众多。甲午战争期间，日军在击溃清军后曾短暂地侵占威海卫，最后靠清政府的屈辱性赔款才换来日军撤兵；1897年底，德国以“巨野教案”为理由从青岛登陆，武力侵占了胶州湾地区，次年三月，清政府被迫租借胶州湾给德国，为期99年；在第一次世界大战期间，日本以对德作战为借口，取而代之地侵占了胶州湾，继承了德国在青岛地区的特权。实际上，德国在开战前就觉察到了日本的阴谋，因此曾主动提议要把胶州湾归还给中国，但北洋政府迫于日本的压力，不敢接受德国的提议。这之后，日本便霸占了青岛。济南惨案期间，日军直接明火执仗地吞并了整个胶州湾。1928年5月，完成北伐的国民政府在付出很多屈辱性代价后勉强收回胶州湾，日军全面退兵，但日本在胶州湾地区仍然保留着大量的特权和势力。比如，国民政府因此而不追究日本政府在济南惨案中要负的责任，胶州湾地区的铁路运输网由中日“共管”，铁路收入用于国民政府对日本的债务赔偿，胶州湾地区的财政机关内保留日籍顾问和日籍官员等等。
东北军在占领胶东半岛后自然不会像国民政府那样对胶州湾的日本人低声下气。跟随东北军一起进入山东的东北铁道部分属机构和人员强行接管了包括胶州湾地区在内的山东全省的铁路。日方人员对此进行了抗议谴责，但东北方面根本不予理睬，并命令将这些赖在中国土地上的异国外来者直接限期出境。实际上，由于上次东北军对日军的作战胜利，极大振奋了全国上下人心，也扫除了很多国人在心头的惧日思想，特别是东北地区的军民，这种自强自信的情绪隐隐然已经有些过了头，部分青年将领、基层官兵、思想激进的学生们之间甚至弥漫开了一种“求战”情绪。简而言之，经过上次的胜利后，主要以青少年为主的国人已经不但不惧日本，甚至想要主动挑战日本，扩大中国的胜利，因为他们认为东北军上次的胜利还不够完美，只是收回了东北地区被日本霸占的主权及利益，但还没有洗刷甲午战争和济南惨案的国耻，也没有对日本进行报复。换句话说，这是一种过于骄傲的盲目自信。客观上讲，东北军在上次的战事里能够获胜，是因为拥有非常多的优势，首先就是东北军的兵力和火力都是关东军的近十倍，其次就是东北军打了关东军一个措手不及，并且在开战初就摧毁了关东军的空中力量，另外，日本国内的意见不统一以及裕仁天皇和日本内阁、日本军方统制派的反对也成为掣肘关东军的力量。这并不能说明日军战斗力不如东北军或者日本军事力量不如中国。比如在鸭绿江战事和旅顺战事，日本海军一出动后，东北军基本上毫无招架之力。旅顺战役，日军有7000人，但正规军只有3000人，东北军的攻击部队则拥有5万多兵力，并且在飞机、炮兵、装甲兵上占绝对上风，这才拿下了旅顺。可以说，在上次的东北战事里，东北军赢得有些侥幸。但此时，在日本人面前，部分东北军官兵、政府官员都以胜利者自居，认为日本人已是自己的手下败将，从而态度倨傲、盛气凌人。
犬养毅被刺身亡后，接替日本首相职务的是前日本海军大将斋藤实。斋藤实性格敦厚，主张日本海军遵守华盛顿海军条约，是偏向于保守派和主和派的军人政治家，他虽然较保守，但并不懦弱。因此“胶州湾事件”发生后，他立刻让外相内田康哉向国民政府提出严重抗议。
正在江南战场上忙得焦头烂额的蒋介石听说张学良又去“招惹”了日本人，顿时又急又气。蒋介石有留日背景，知道日本是个现代化的军事强国，因此也知道上次东北军能战胜关东军在很大程度上是侥幸，所以十分不希望自己在全力打内战时中日关系却因为张学良的莽撞蛮干而搞得整个中国后院失火。获知这个消息后，蒋介石急忙命令外交部长王正廷前往青岛协调和处理此事。