IPSJ SIG Technical Report Vol.2015-BIO-44 No /12/7 1,a) 1,b) 1,c) ( ) CATH CATH BLAST PSI-BLAST LSA 1. DNA DNA 4 A( ) T( ) G( ) C( ) 20 A( ) E(

Size: px

Start display at page:

Download "IPSJ SIG Technical Report Vol.2015-BIO-44 No /12/7 1,a) 1,b) 1,c) ( ) CATH CATH BLAST PSI-BLAST LSA 1. DNA DNA 4 A( ) T( ) G( ) C( ) 20 A( ) E("

えつまたかにし
4 years ago
Views:

1 1,a) 1,b) 1,c) ( ) CATH CATH BLAST PSI-BLAST LSA 1. DNA DNA 4 A( ) T() G( ) C( ) 20 A( ) E() F( ) KEPEQL...AVS α- β- apple, gravitation, formulate, by Newton was inspired to formulate gravitation by watching the fall of an apple from a tree. 1 Nara Institute of Science and Technology, Takayama, Ikoma, Nara , Japan a) masashi-t@is.naist.jp b) shimbo@is.naist.jp c) matsu@is.naist.jp [2], [3], [4], [5] [6] DNA DNA 1

2 Learning of n-gram amino acid vectors p1 p2 pc Protein corpus MNIFEMLRIDEGLRLKI VLSEGEWQLVLHVWA ADGIQDKICIGYLSNN Amino acid sequence of protein Word representation learning methods Split into n-gram LSA Word2vec GloVe Composition of a protein representation from n-gram amino acid vectors GRISMTVKK DIEQEK 1 d-dimensional n-gram amino acid vectors (d=3, n=3 in this example) DEG = WQL = SNN = Compositional function Protein vector GRI RIS QEK n-gram n-gram 1 n-gram Word2vec [4] Global Vectors [5] n-gram CATH 3 ( 1 ) ( 2 ) BLAST ( 3 ) Skip-gram Continuous bag-of-words Word2vec [4] Skip-gram d T w 1, w 2, w 3,..., w T 1 T T t=1 c j c,j 0 log p(w t+j w t ) (1) c w t () Skip-gram w t w t+j p(w t+j w t ) p(w t+j w t ) = exp(v w t+j v wt ) W w=1 exp(v w v wt ). (2) W () v w w d (2) word2vec W () word2vec 2. W (2) (2) (w, c) (w, c ) ( ) Skip-gram word2vec Continuous bag-of-words Skip-gram ( 3 ) 2.2 Global Vectors Global Vectors [5] Global Log-bilinear Regression (GLR) word2vec w i i w i w i d c j j, c j c j d Global Vectors J W J = f(#(w i, c j ))(wi c j + b i + b j log(#(w i, c j )) 2. i,j=1 2

3 Words of proteins and Corpus An amino acid is a word M N I F E M L R I Skip-Gram Output MNI NIF FEM EML 2 Original protein sequence MNIFEMLRIDEG n-gram non-overlap split MNI FEM LRI DEG LRL n-gram overlap split MNI NIF IFE FEM MLR n-gram overlap Input Continuous Bag-of-Words Output IFE IFE W #(w, c) c w b i b j w c f(x) Pennington [5] f (x/x max ) α x < x max f(x) = (3) 1 otherwise. α Pennington [5] 0.75 Global Vectors AdaGrad [7] 3. n-gram n-gram 3.1 n-gram n-gram n n-gram overlap ( 2 )Dong [8] n-gram overlap [9] [10] 3.2 n-gram 2 word2vec Skip-Gram 3 Input MNI NIF Sum FEM EML Skip-gram Continuous bag-of-words Continuous bag-of-words Global Vector 3 3 n-gram overlap word2vec n-gram 3.3 S d d(s) R d S n-gram d(s) = 1 d(a ngram ). (4) S a ngram S S S n-gram a ngram n-gram d(a ngram ) R d a ngram d n-gram bag-of-words n-gram CATH *1 CATH (C: ) (A: SCOP fold ) (T: *1 3

情報処理学会研究報告 Sequence Structure GSHMA GIDPF Method Hierarchical labels of CATH C: 1 Mainly Alpha A: 1.10 Orthogonal Bundle T: 1.10.10 Arc Repressor Mutant, subunit A H: 1.10.10.10 "winged helix" repressor DNA C: 2 Mainly Beta A: 2.

2 表 1 様々な既存法と提案法の精度の比較 LSA word2vec GloVe の次元数はすべて 500 次元とした GRISM C: 3 Alpha Beta A: 3.60 4-Layer Sandwich T: 3.60.15

10 Metallo-beta-lactamase, chain A には scikit-learn*4 による実装のサポートベクターマシンを用いるモデルのハイパーパラメータは開発データを用いて図 4 CATH に登録されているタンパク質のアミノ酸配列とその構造そして階層的なラベル (C, A, T, H) の例を示すいることに基づく分類) ホモロジー (H: 配列相同性構造

4 情報処理学会研究報告 Sequence Structure GSHMA GIDPF Method Hierarchical labels of CATH C: 1 Mainly Alpha A: 1.10 Orthogonal Bundle T: Arc Repressor Mutant, subunit A H: "winged helix" repressor DNA C: 2 Mainly Beta A: 2.30 Roll T: SH3 type barrels H: SH3 Domains Accuracy (%) PSI-BLAST 47.6 スペクトラムカーネル (Leslie et al. 2002) 63.0 LSA (Dong et al. 2006) 53.6 CBOW 68.3 SG 69.8 GloVe 71.2 表 1 様々な既存法と提案法の精度の比較 LSA word2vec GloVe の次元数はすべて 500 次元とした GRISM C: 3 Alpha Beta A: Layer Sandwich T: Metallo-beta-lactamase; Chain A H: Metallo-beta-lactamase, chain A には scikit-learn*4 による実装のサポートベクターマシンを用いるモデルのハイパーパラメータは開発データを用いて図 4 CATH に登録されているタンパク質のアミノ酸配列とその構造そして階層的なラベル (C, A, T, H) の例を示すいることに基づく分類) ホモロジー (H: 配列相同性構造類似性を考慮し共通祖先の存在が認められるもの SCOP の superfamily に相当) の 4 つから構成されている (図 4 参照) また我々はこの CATH を用いて実験の評価データセットを作成し構造クラス分類タスクを設定する本稿では BLAST を用いて相同性の低いタンパク質のみのデータセットを作成する CATH に登録されている約 9 万のタンパク質から BLAST の E-value が 10 3 以上のタンパク質のみをフィルタリングするその条件で得られたタンチューニングする Word2vec や GloVe には多くのハイパーパラメータが存在するが本稿では 3-gram アミノ酸をタンパク質の単語とした上でその単語ベクトルの次元の違いによる性能を比較するに留めるその他のハイパーパラメータの違いが及ぼす影響の調査については今後の課題とする 5. 結果と考察 5.1 既存法と提案法の予測精度表 1 に様々な既存法と提案法の結果を示す以下考察である ( 1 ) 最も基本のベースラインである PSI-BLAST が最も低い精度となったこれは E-value が高く相同性のパク質の数は 8718 でありそれを 4:1:5 に分割しそれぞ低いタンパク質のみからデータセットを作ったことれを訓練データ (3923) 開発データ (436) テストデータ (4359) とする我々の目標は相同性の低いタンパク質に対して高精度にその構造クラスを予測することであるで適切なアライメントが取れなかったためである ( 2 ) スペクトラムカーネル [12] では精度が 60%を越える結果となったスペクトラムカーネルではその特本稿では最も単純なクラス C の予測のみを行う徴ベクトルが陽には計算されないが陽に考えると n-gram アミノ酸の頻度ベクトルがタンパク質ベクト 4.2 実装の詳細ルとなっているこのことから頻度の情報は相同性提案法と比較する既存手法には相同性検索に広く用いの低いタンパク質の構造クラス分類においても有効られる PIS-BLAST バイオインフォマティクスにおいて機械学習を用いた代表的な手法の一つであるスペクトラムカーネルそして Deerwester [11] の潜在意味解析 (Latent な特徴量であることが示唆される ( 3 ) LSA については精度が低い結果となった LSA はスペクトラムカーネルとは異なり n-gram アミノ酸 Semantic Analysis (LSA)) の 3 つとするスペクトラムの頻度ベクトルを次元圧縮しているこれによって失カーネルと LSA の実装は Python numpy そして scipy われる情報が原因で分類精度が低下したと考えられの巨大疎行列に対する効率的な分解アルゴリズムを用いるこのことは次元圧縮によって得られる潜在的なる特に LSA は自然言語処理研究において古くから単情報を用いるよりもむしろ共起頻度の情報をそのま語ベクトル表現として用いられているものであり Dong ま用いるスペクトラムカーネルの方が良い場合もあるら [8] によってバイオインフォマティクスに適用されているまた我々は単語ベクトル表現学習である Skip-gram (SG) Continuous bag-of-words (CBOW) そして Global ことを示している ( 4 ) 提案法である CBOW SG そして GloVe はすべてにおいて精度が 65%を越える高い性能を示した特に Vectors (GloVe) の実装についてそれぞれのツールキッ GloVe は 70%を超えており相同性の低いタンパク質トである word2vec*2 と Glove*3 を用いるそして分類器 *2 * Information Processing Society of Japan であってもその構造を高精度に予測することができ *4 4

5 5 6 GloVe word2vec ( 1 ) 5 CBOW SG GloVe ( 2 ) sec 6. [2], [3], [5], [11], [13], [14], [15], [16] [6], [17], [18]. [19], [20], [21] [12], [22], [23] [8] Deep Learning [24], [25] 7. CATH PSI-BLAST LSA [1] Searls, D. B.: The language of genes, Nature, Vol. 420, No. 6912, pp (2002). [2] Bengio, Y., Ducharme, R., Vincent, P. and Janvin, C.: A neural probabilistic language model, Journal of Machine Learning Research (JMLR) (2003). [3] Collobert, R., Weston, J., Bottou, L., Karlen, M., 5

6 Kavukcuoglu, K. and Kuksa, P.: Natural Language Processing (Almost) from Scratch, The Journal of Machine Learning Research (JMLR) (2011). [4] Mikolov, T., Chen, K., Corrado, G. and Dean, J.: Efficient estimation of word representations in vector space, arxiv preprint arxiv: (2013). [5] Pennington, J., Socher, R. and Manning, C. D.: Glove: Global vectors for word representation, Proceedings of the Conference on Empirical Methods on Natural Language Processing (EMNLP) (2014). [6] Mitchell, J. and Lapata, M.: Composition in Distributional Models of Semantics, Cognitive Science, Vol. 34, No. 8, pp (2010). [7] Duchi, J., Hazan, E. and Singer, Y.: Adaptive subgradient methods for online learning and stochastic optimization, JMLR (2011). [8] Dong, Q.-W., Wang, X.-L. and Lin, L.: Application of latent semantic analysis to protein remote homology detection, Bioinformatics, Vol. 22, No. 3, pp (2006). [9] Dong, Q.-W., Lin, L., Wang, X.-L. and Li, M.-H.: A pattern-based SVM for protein remote homology detection, IEEE (2005). [10] Ben-Hur, A. and Brutlag, D.: Remote homology detection: a motif based approach, Bioinformatics, Vol. 19, No. suppl 1, pp. i26 i33 (2003). [11] Deerwester, S. C., Dumais, S. T., Landauer, T. K., Furnas, G. W. and Harshman, R. A.: Indexing by latent semantic analysis, JASIS (1990). [12] Leslie, C. S., Eskin, E. and Noble, W. S.: The spectrum kernel: A string kernel for SVM protein classification., Pacific symposium on biocomputing, Vol. 7, pp (2002). [13] Brown, P. F., Desouza, P. V., Mercer, R. L., Pietra, V. J. D. and Lai, J. C.: Class-based n-gram models of natural language, Computational linguistics, Vol. 18, No. 4, pp (1992). [14] Blei, D. M., Ng, A. Y. and Jordan, M. I.: Latent dirichlet allocation, the Journal of machine Learning research, Vol. 3, pp (2003). [15] Widdows, D. and Cohen, T.: The semantic vectors package: New algorithms and public tools for distributional semantics, Semantic Computing (ICSC), 2010 IEEE Fourth International Conference on, IEEE (2010). [16] Turney, P. D.: Domain and function: A dual-space model of semantic relations and compositions, Journal of Artificial Intelligence Research (JAIR) (2012). [17] Erk, K.: Vector Space Models of Word Meaning and Phrase Meaning: A Survey, Language and Linguistics Compass, Vol. 6, No. 10, pp (2012). [18] Baroni, M., Bernardi, R. and Zamparelli, R.: Frege in space: A Program for Compositional Distributional Semantics, Linguistic Issues in Language Technologies (2013). [19] Tsubaki, M., Duh, K., Shimbo, M. and Matsumoto, Y.: Modeling and Learning Semantic Co-Compositionality through Prototype Projections and Neural Networks, Proceedings of the Conference on Empirical Methods on Natural Language Processing (EMNLP) (2013). [20] Van de Cruys, T., Poibeau, T. and Korhonen, A.: A Tensor-based Factorization Model of Semantic Compositionality, North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT) (2013). [21] Socher, R., Perelygin, A., Wu, J. Y., Chuang, J., Manning, C. D., Ng, A. Y. and Potts, C.: Recursive deep models for semantic compositionality over a sentiment treebank, Proceedings of the Conference on Empirical Methods on Natural Language Processing (EMNLP) (2013). [22] Ben-Hur, A. and Noble, W. S.: Kernel methods for predicting protein protein interactions, Bioinformatics, Vol. 21, No. suppl 1, pp. i38 i46 (2005). [23] Holley, L. H. and Karplus, M.: Protein secondary structure prediction with a neural network, Proceedings of the National Academy of Sciences, Vol. 86, No. 1, pp (1989). [24] Di Lena, P., Nagata, K. and Baldi, P.: Deep architectures for protein contact map prediction, Bioinformatics, Vol. 28, No. 19, pp (2012). [25] Lena, P. D., Nagata, K. and Baldi, P. F.: Deep spatiotemporal architectures and learning for protein structure prediction, Advances in Neural Information Processing Systems, pp (2012). 6

Computational Semantics 1 category specificity Warrington (1975); Warrington & Shallice (1979, 1984) 2 basic level superiority 3 super-ordinate catego

Computational Semantics 1 category specificity Warrington (1975); Warrington & Shallice (1979, 1984) 2 basic level superiority 3 super-ordinate category preservation 1 / 13 analogy by vector space Figure