焦燥が極限に達した図書頭は、苦境を打開せんとする奇策を思いつく。
大通詞中山作三郎が１２時ごろにドゥーフを呼んで伝えたのは、
『奉行は二人のオランダ人を取り戻すまでに極めて長い時間がかかっているので非常に苛立っており、 そして奉行閣下は即座に秘書官に対して次のように命令した、と言った。
すなわち、彼、秘書官は舷側に行き、そして柔和な態度と丁寧な言葉をもって、乗船しようと試みなければならない、続いて彼は船長を訪ねる、 そして彼に極めて友好的に、また丁重に話しかけ、そして同人の来航の理由を尋ねよ、そしてもし彼が何か要求すべきことがあれば、彼がそれを言うように仕向け、その後秘書官は、もしそのようにして二人のオランダ人を解放するならば、彼〔船長〕の要求は満たされるだろうと言うように、そしてもし船長が、それをしようとしないなら、その場合は、秘書官は不意に広刃の刀をもって船長の首に切りつけ、そして自らは直ちに腹を切れ、と。
作三郎は私に、秘書官は行く決心をしていると言い、そして私の考えを質したので、私は次のように言った。すなわち、そのような狂気じみた攻撃は、私の考えでは、ほとんど利益がないだろう、というのは、そうすれば船長も秘書官も死ぬことになるし、目的を達成することにもならないからである。それよりも大勢の武装した兵員を船上に来させて、それによって強行しようとするほうがもっと良い方法だ、と。しかしそれに対して作三郎は私に、兵士たちがおらず、また二、三日以内には来ることができない、と言った。』（商館日記199ｐ）
この計画は、今日の我々から見れば恐ろしく無謀である。当時の英海軍は長いナポレオン戦争で鍛え抜かれており、オランダ人二人を拉致したときも小艇のチームが統制の取れた機敏な動きを見せている。戦塵にまみれた彼らが易々と図書頭が描くシナリオを許すとは思えない。一方、図書頭は実戦の経験が無い。無いどころか、1638年の島原の乱以降、170年間も日本には戦闘の機会も無かったのだ。幕府の官僚組織の中でその優秀さから長崎奉行に抜擢されたエリート旗本だけに、与えられた役目への責任感と幕府の権威を守らねば、という意識は極めて強烈である。その彼が拉致を許したままいたずらに時間が過ぎていくことに耐えかねて考え出した窮余の一策だった。
結局この案は実施に移されなかった。
その顛末は商館日記ではなくて、回想記に記されている。
「奉行が最終的に反応したのは真夜中になってからだった。奉行の第一秘書官（=上條で徳右衛門）が私を呼び出し、オランダ人を船から連れ戻すよう命令を受けたと告げた。私がどのようにしてそれを実行するつもりかと尋ねると、彼は次のように答えた。「(異国)船が裏切り行為でオランダ人を拘束したように、私も一人で、随行者なしで、最大限の友好の表現を示しながら船に乗り込み、オランダ人を取り戻すために船長と話をする。もし答えが否定的であれば、隠し持った短刀で最初に船長を刺し、次に自分自身を刺す。」
彼は、暗殺は基本的に日本人の性格に反するが、オランダの旗の下で裏切り行為と密かな敵対行為を行った船長は価値のない人間だと考えていると付け加えた。そのため、彼（第一秘書官）は喜んで自分の命を犠牲にするつもりだった。このような勇敢だが絶望的な決定に驚いた私は、秘書官に、そうすれば自分の命を失うだけでなく、彼のために行動するオランダ人も間違いなく英国人に絞首刑にされるだろうと理解させようとした。
秘書官はなぜ私がこの行動を思いとどまらせようとするのか理解できず、自分の決意を曲げなかった。これを心配した私は、奉行と話をしたいと伝えた。
私の異議を聞いた奉行は、私と同様に、このような計画では我々の同胞を解放できないと確信した。
そして、この計画は取り下げられた。
私がこの秘書官とのやり取りについて詳しく書いたのは、日本人が命令に従う際にいかに自分の命を惜しまないかを示すためである。疑いなく、私が奉行を説得していなければ、秘書官は自分の意図を実行していただろう。」(Recollection of Japan 英語版99-100ページ)
本来これはずっとあとの章で取り上げる予定だったのだが、ここで簡単に紹介しておく。オランダ人二人が解放され、水食糧の補給を受けたフェートン号が驚くほどの早技で出港した後、図書頭が上條徳右衛門をねぎらって「その方の骨折りは見事だった。江戸に帰れば御持御先手（という役に）栄進するだろう」と語ったのが記録されている（通航一覧４３６p）。 御持御先手（ごせんて）とは将軍を警護する、御家人の中では最高の栄誉職である。
この会話は何を意味するのか。上條徳右衛門は図書頭の家来ではなく、幕府が図書頭の補佐役としてつけた人物ではないか、と思われるのだ。
もしそうなら、このような無謀な役目を彼の有能な右腕である上條に命じたと言うことは、図書頭の上條への信頼の裏返しであり、たとえ彼を失うにしても上條ならこの困難な任務をやり遂げるだろうと言う思いだったのではないか。
このやり取りは、奉行と「秘書官」（上條）の間の密談だったのだろうか？西役所の奥まった図書頭の居間での会話だろうか？
だが作三郎が聞いてドゥーフに伝えたほどだから居間とは思えない。とすれば、ある程度の人数には共有されていたと思えるのだ。
しかし日本側の史料にはどこにも見当たらない。
とすると、上條の作為でこのことを無かったことにした可能性が高い。
上條と言う人物は、書記役の斧生が混乱の極致にあった奉行所内を走り回って記録を忘れた失態を次期奉行への引渡日記から削除したり、検使二人が「オランダ船に間違いない」と誤認した注進状を本人たちの嘆願で同じく引渡日記から削除したりして、彼等の名誉を守る心配りをしている。
この時もこれが記録に残ると図書頭の名誉に関わると判断したのかもしれない。
上條はこの計画が実施されれば（成功すれば自決、失敗すれば英兵に殺される）確実に自分が死ぬことになる命令を受諾した。これは武士としての覚悟が揺るぎない事を示している。一方で上條はこの命令が、現代の言葉で言えば合理性がないとも認識していたのではないか。この命令を記録に残すことで図書頭の指揮・判断力について後世の評価に陰りが出ると危惧したのではなかろうか。
上條の気配りでこの作戦は表面化せず、また記録もされず、ドゥーフが日記と回想記に記録して後世に残したエピソードとなったのだろう。考えすぎかも知れないが。
しかし、この奇策を実行しようとしたことには、図書頭が職務への責任感と使命感に突き動かされていたことがうかがえる。
この時の彼には、己の使命を果たさねばという一徹な思いがあったのだろう。
検使二人に「オランダ人を取り戻すまで、生きて帰るな！」と命じた時、中山作三郎が上條の袖を掴んで「卵を岩にぶつけるようなもの」と必死で止めようとした件もある。
武士としての矜持に欠ける恥ずかしい振る舞いを見せた部下には手厳しく応じたのである。
一方で、図書頭はこの秘密作戦についてドゥーフの意見を聞く冷静さも失っていなかった。鎖国日本にとって、ドゥーフは唯一異国船側の社会規範（ルールや常識と言っても良い）に通じた人間である。日本側の行動に異国船がどう反応するか、それを推理する手がかりを持った人物がドゥーフであり、だから図書頭は実行の前にドゥーフの意見を聞いたのである。頭に血が上った猪武者なら何も考えずに行動に移したかもしれないが、図書頭は猪突猛進タイプではない。
ドゥーフの意見は「そんなことをしたらイギリス人は間違いなく捕えている二人を絞首刑にするでしょう」というものだった。これによりこの作戦は実行に移されることはなかったとドゥーフは回想記で述べている。
その時、検使らと異国船に赴いた小通詞末永甚左衛門が奉行所に帰って来た。
なんと彼は拉致されたオランダ人の一人、ホウセマンと会って、手紙を託されたと言うのだ。
これでようやく事態が新たな局面に動き始めることになる。