高島被謫到佃島服刑時,和同囚的西村勝藏、三瀨周藏最要好。有一天兩人嘆氣說遇上大難事:役所開大會議,兩人被叫去差遣,聽到獄官的打算。菜油價低、菜種價高,再讓囚徒榨油只是賠錢,不如改派他們去修橫須賀的船渠,嘉右衛門擅長指揮,勝藏擅長計算,周藏懂醫術;又說這三人都有些本事,放出去恐怕再惹事,不如一直拘留差使。高島說,獄官這樣主張,是因為照幕府舊例,官所收入有一半歸吏員。
高島先替勝藏占,得到九三。他說:坎險在前,乾健臨之,是要渡水而不輕進的卦。〈象傳〉說「災在外也」,這災說的不是橫須賀的事;你有遠慮,不會違法逃役,也不會再犯罪,那麼你的災大概是病,若生了病要好好保重。
接著替周藏占,得到鼎卦,高島說想動他的人無力動他;最後替自己占,得到艮卦「艮其輔,言有序」,他想了很久,讀成日後會因言語有條理被上面賞識,得以免罪。

