Use of Shape Deformation to Seamlessly Stitch Historical Document Images Wei Liu Wei Fan Li Chen Sun Jun あらまし 1 2 Abstract In China, efforts are being made to preserve historical documents in the form of digital data so that they can be effectively used while being protected. Stitching technology is expected to play a role in these efforts by dividing a large-sized historical document into multiple areas, scanning those areas using a compact contactless scanner, and cleanly connecting the resulting images. However, historical documents are often on paper of low quality and have an uneven surface. The resulting local distortion in the scanned images makes it difficult to stitch them together. To solve this problem, Fujitsu Research and Development Center Co., Ltd. has developed a seamless image stitching method using shape deformation. This method first deforms one of two images to approximate the other image and then estimates single or dual optimal seams to minimize deformation and maximize consistency. With this method, high-quality images of historical documents can be obtained. This paper describes the problem associated with the stitching of historical document images, proposes a method for solving it, and evaluates its performance. 94 FUJITSU. 66, 5, p. 94-101 09, 2015
ま え が き 1 1 2 従 来 の 技 術 とその 課 題 1 1 2 2 2 1 Kwatra 2 Veena 3 2 1 2 2 Jia 2 4 Fang 5 Fan 6 7 提 案 方 法 の 概 要 1 2 2 図 -1 1 2 2 3 4 1 5 FUJITSU. 66, 5 09, 2015 95
画 像 の 上 半 分 オーバーラップ 領 域 の 上 半 分 オーバーラップ 領 域 画 像 の 下 半 分 オーバーラップ 領 域 の 下 半 分 上 半 分 と 下 半 分 の 画 像 取 り 込 み オーバーラップ 領 域 の 取 得 安 定 した 制 御 点 の 抽 出 画 像 変 形, 最 適 な 継 ぎ 目 の 推 定 最 適 な 継 ぎ 目 を 用 いて 上 半 分 と 下 半 分 を 合 成 -1 I 1 I 1 I 2 I 2 (a) 線 (b) 特 徴 点 -2 画 像 変 形 安 定 した 制 御 点 の 抽 出 2 2 2 図 -2 移 動 最 小 二 乗 法 による 画 像 変 形 2 2 96 FUJITSU. 66, 5 09, 2015
MSL 8 MSL 2p i q i v MLS l v x w i l v p i - Σi ( ) q i 2 w i M 9 形 状 変 形 による 継 ぎ 目 の 推 定 1 2 SSMD Single Seam with Minimum Deformation DSMDC Dual Seam with Maximum Deformation Consistency SSMD -2 a 2-2 I 1 I 2 I 1 I 2 1 v V V vm v M i * =arg min V( i,j ) 1 Σ=1 j - < i - < h w w h I 1 6 DSMDC SSMD 図 -3 (a) 元 画 像 (b) 画 像 合 成 後 -3 FUJITSU. 66, 5 09, 2015 97
2 2 図 -4 DSMDC v D D vm v i j w min Σ=1 D i,j +λ 1 X i,j X j ( ) - +1 i,j +λ 2 y -y j +1 j 1 2 X i j i j D i j y j X i j y 1 2 3 9 性 能 評 価 10 10 1 3 SSMD DSMDC 3 1 図 -5-5 b SSMD -5 c -4 図 -6 b 1-6 c DSMDC -6 a 図 -7 DSMDC 表 -1-7 1 SSMD DSMDC -4 2 98 FUJITSU. 66, 5 09, 2015
(a) 元 画 像 (b)グラフカット 法 による 合 成 結 果 (c)ssmd 法 による 合 成 結 果 -5 1 (a) 元 画 像 (b) 最 小 内 容 交 差 による 合 成 結 果 (c)dsmdc 法 による 合 成 結 果 -6 2 FUJITSU. 66, 5 09, 2015 99
(a) 従 来 の 動 的 プログラミング 法 (b)ssmd 法 (c)dsmdc 法 -7-1 SSMD DSMDC 78.58 80.17 80.45 82.08 83.33 87.89 80.86 81.10 80.90 む す び 1 2 参 考 文 献 1 L. G. B. Mirisola et al Exploiting inertial sensing in mosaicing and visual navigation Intelligent Autonomous Vehicles Vol.6 Part 1 p.306-311 2007 2 V. Kwatra et al Graphcut textures image and video synthesis using graph cuts ACM Transactions on Graphics Vol.22 No.3 p.277-286 2003 3 C. V. Veena Minimizing seam artifacts in image stitching Asian Journal of Information Technology Vol.6 No.2 p.209-214 2007 4 J. Jia et al Image stitching using structure deformation Pattern Analysis and Machine Intelligence IEEE Transactions on Vol.30 No.4 p.617-631 2008 5 H. Fang et al Textureshop texture synthesis as a photograph editing tool ACM Transactions on Graphics Vol.23 No.3 p.354-359 2004 6 D. P. Bertsekas Dynamic programming and optimal control volume 1 Athena Scientific Belmont MA 1995 7 W. Fan et al Paper stitching using maximum tolerant seam under local distortions The 2014 ACM symposium on Document engineering p.35-44 2014 8 D. Levin The approximation power of moving least-squares Mathematics of Computation of the American Mathematical Society Vol.67 No.224 p.1517-1531 1998 9 S. Scott et al Image deformation using moving least squares ACM Transactions on Graphics Vol.25 No.3 p.533-540 2006 10 G. D. Forney Jr The viterbi algorithm Proceedings of the IEEE Vol.61 No.3 p.268-278 1973 100 FUJITSU. 66, 5 09, 2015
著 者 紹 介 Wei Liu Sun Jun Wei Fan 直 井 聡 (なおい さとし) Li Chen FUJITSU. 66, 5 09, 2015 101