vim with kaoriya

kaoriya のパッチを当てて、esc 押下時に ime が off になるようにしたい。正確には(insert モード時の ime の状態を記憶しないなのかな) 挑戦したけど失敗した orz
なんとか make install までできたけど効果無しっぽ・・・。
それ以前にできるのか？できないのか？それだけでも知りたい。