上海沦陷后，井上更加有恃无恐。
他以虹口天潼路菜场横街的一座日本式两层楼房作为间谍活动的基地，聚集一批浪人，疯狂地进行搜集情报、绑架、暗杀等活动，残酷杀害中国抗日人士。
井上当时40多岁，中等身材，窄长的脸型，面容苍白，经常身着西装，手中拿着一根手杖，手杖内藏有利刃，必要时可以用来防身。
他平时脸色阴沉，少言寡语，对待手下十分严厉，因此手下的人对他十分惧怕。
由于他在日本军部中有很多同学和同事，有相当过硬的后台，因此他十分傲慢，从不把一些日本军官或外交人员看在眼里。
井上日昭曾经说，他手下虽然只有60多人，但在所发挥的作用上，可以抵得上日本陆军的一个师团。
井上公馆虽然只是一个由日本浪人组成的间谍组织，不属于日本的官方机构，但是由于他们的间谍活动成绩突出，因而得到日本陆军参谋本部，以及日本驻上海领事馆的承认和积极支持。
活动经费方面虽然没有明确的规定，但井上凡有所需，可以随时向驻上海日军司令部或领事馆无限制地领取。
因此，无论是井上本人，还是他的手下，生活都很奢侈。
在沪的日本民间特务组织，随着上海沦陷，陆军海军情报部门争相分食，因此势力迅速消减。
只有井上公馆是个例外。
吉川五门和井上日昭很早以前就认识，对这个人也是比较重视的。
因此一到虹口，便指明要和井上日昭见面。
谷繁原道大佐，从内心来说，是看不起浪人身份的井上日昭的。
可这是吉川五门吩咐的，又能有什么办法？
所以，在介绍了自己指挥的“对沪研究办公室”的工作情况之后，谷繁原道安排和吉川五门和井上日昭的见面。
双方洽谈的非常愉快。
吉川五门之所以如此重视井上日昭，除了因为和对方很早就相识，更加重要的原因，是要利用这个人。
用他自己和日本华北五省特务机关机关长吉川贞佐的话来说：
“南北一旦开始合作，谁占据主导地位是很重要的……我们呢在上海的力量非常薄弱，而无论是陆军还是海军，都不会轻易的让我们插手，因此，在上海拥有很大力量的井上日昭，会是非常好的一颗棋子……”
这就是他的真实目的。
在双方见面交谈之后，吉川五门