VOLTA TENSOR コアで 高速かつ高精度に DL モデルをトレーニングする方法 成瀬彰, シニアデベロッパーテクノロジーエンジニア, 2017/12/12
|
|
|
- ちかこ ながおか
- 5 years ago
- Views:
Transcription
1 VOLTA TENSOR コアで 高速かつ高精度に DL モデルをトレーニングする方法 成瀬彰, シニアデベロッパーテクノロジーエンジニア, 2017/12/12
2 アジェンダ Tensorコアとトレーニングの概要 混合精度 (Tensorコア) で FP32と同等の精度を得る方法 ウェイトをFP16とFP32を併用して更新する ロス スケーリング DLフレームワーク対応状況 ウェイトをFP16で更新する 2
3 VOLTA TENSOR コア 4x4 の行列の乗算を 1 サイクルで実行 A 0,0 A 0,1 A 0,2 A 0,3 B 0,0 B 0,1 B 0,2 B 0,3 C 0,0 C 0,1 C 0,2 C 0,3 D = A 1,0 A 1,1 A 1,2 A 1,3 B 1,0 B 1,1 B 1,2 B 1,3 C 1,0 C 1,1 C 1,2 C 1,3 A 2,0 A 2,1 A 2,2 A 2,3 B 2,0 B 2,1 B 2,2 B 2,3 C 2,0 C 2,1 C 2,2 C 2,3 A 3,0 A 3,1 A 3,2 A 3,3 B 3,0 B 3,1 B 3,2 B 3,3 C 3,0 C 3,1 C 3,2 C 3,3 FP16 or FP32 FP16 FP16 FP16 or FP32 D = AB + C 3
4 VOLTA TENSOR コア 混合精度演算 Volta Tensor Core FP16 FP16 16bit 16bit FP16 FP32 32bit + FP32 FP32 P100 V100 FP16/Tensorコア 20 TFLOPS 125 TFLOPS FP32 10 TFLOPS 15.6 TFLOPS 4
5 CUDNN: TENSOR コアの実効性能 Pascal FP32 vs. V100 Tensor コア Convolution 層の性能比較 5
6 Resnet50, Imagenet, Batch:128 P100 FP32, V100 FP32 vs. V100 Tensor コア Time per iteration [ms] P100 FP ms V100 FP ms V100 Tensor コア 197 ms 約 3 倍 (*) Chainer 3.0.0rc1+ と CuPy 2.0.0rc1+ を使用 Conv BN Relu Cupy_* Misc. 6
7 Forward トレーニングの流れ Forward 7
8 トレーニングの流れ Backprop Backprop 8
9 トレーニングの流れ Update Update 9
10 Forward トレーニングの流れ Forward 10
11 データ型に基づくトレーニングの分類 FP32, FP16, 混合精度 トレーニング 入力データ 行列演算乗算 (x) 行列演算加算 (+) GPU FP32 FP32 FP32 FP32 FP16 FP16 FP16 FP16 Pascal 混合精度 FP16 FP16 FP32 Volta 11
12 半精度浮動小数点 (FP16) FP16 IEEE754 FP32 単精度 (FP32) と比べると 表現可能レンジが非常に狭い 12
13 平均 誤差範囲 TENSOR コアの計算精度 FP32 に近い結果 Tensor コアの演算結果は FP16 と比べて FP32 との誤差が小さい FP32 TensorCore FP16 内積長 行列 A: 指数分布 (activation) 行列 B: 正規分布 (weight) ( 平均 0.0, 分散 1.0) 内積長 : 万サンプル 誤差区間 : 99% 13
14 混合精度 (TENSOR コア ) でトレーニング Q: FP32 でトレーニングしたモデルと 同じ精度を得られるのか? A: 可能です その方法を説明します 14
15 ウェイトの更新には FP16 と FP32 を併用する 15
16 トレーニング (FP16 混合精度 ) ストレージは FP16 W = W λ*δw (FP16) 勾配は小さい重みが更新されない可能性更新消失問題 ストレージのデータ型 FP16 FP16 FP16 FP16 16
17 半精度浮動小数点 (FP16) FP16 表現可能範囲が狭い FP32 FP16 の仮数部は 10 ビット =? ? 17
18 ウェイトは FP32 で更新 ストレージのデータ型 FP16 FP16 FP16 FP32 FP16 18
19 ウェイトは FP32 で更新 Backprop Weight Update Forward ΔW (FP16) 変換 ΔW (FP32) W = W λ*δw (FP32) W (FP32) 変換 W (FP16) Update は FP32 で計算する FP16の勾配を FP32に変換 FP32のウェイト ( マスターコピー ) を FP32で更新 FP32のウェイトから FP16のウェイトを作成 Q: FP32 で更新すると遅くならないか? 19
20 Update トレーニングの時間比率 Forward Backward トレーニング時間の大部分は Backward と Forward Update の時間は短い FP32 計算によるスピード低下は僅か 20
21 トレーニングの分類 トレーニング 入力データ 行列乗算乗算 (x) 行列乗算加算 (+) ウェイト更新 GPU FP32 FP32 FP32 FP32 FP32 FP16 FP16 FP16 FP16 FP16/FP32 Pascal 混合精度 FP16 FP16 FP32 FP16/FP32 Volta 21
22 混合精度 + ウェイト FP32 更新 多くのモデルは これで収束する FP32 モデルと同等の精度が得られるケースも多い 同じソルバー 同じハイパーパラメータ 同じ学習レートコントロール 画像分類 (ImageNet) GoogleNet, VGG-D, Inception v3, ResNet-50 ソルバー : モメンタムSGD 言語モデル 機械翻訳 NMT ソルバー : ADAM 22
23 GOOGLENET FP32 の学習カーブと一致 23
24 INCEPTION V1 FP32 の学習カーブと一致 24
25 RESNET-50 FP32 の学習カーブと一致 25
26 CNN ( 画像分類 ) Alexnet, CaffeNet CNN ( 物体検出 ) RNN 混合精度 + ウェイト FP32 更新 収束しないケース Multibox SSD (VGG-D): 学習できず Faster R-CNN (VGG-D): 精度低下 map: 69.1% (FP32) 68.5% (Tensorコア) Seq2seq ( アテンション付 ): 収束が遅い biglstm: 途中から発散 Q: 問題は何? 26
27 アクティベーションの勾配 27
28 アクティベーションの勾配のヒストグラム Multibox SSD (VGG-D, FP32) FP32: ゼロ : 67% 非ゼロ : 33% FP16: ゼロ : 94% 非ゼロ : 6% 28
29 アクティベーションの勾配のヒストグラム Multibox SSD (VGG-D, FP32) FP16 で表現可能なレンジが ほとんど使われていない 29
30 ロス スケーリング 30
31 ロス スケーリング 問題 : 勾配消失 アクティベーションの勾配値は小さい データ型を FP16 にするとゼロになる 解決法 : ロススケーリング ロスの値をスケールアップ ( 大きく ) してから Backpropする ウェイト更新の直前に ウェイトの勾配をスケールダウン ( 小さく ) する スケーリングファクター : 新ハイパーパラメータ? 31
32 スケールアップ ロス スケーリング スケールダウン 勾配消失回避 32
33 ロス スケーリング ( 例 ) ロスの値を 256 倍 効果 : 勾配の値も 256 倍になる アクティベーションの勾配値が FP16 の表現可能域にシフト ウェイトの勾配値は FP16 の正規数領域に入る 33
34 ロス スケーリングの効果 Alexnet トレーニングモード Top1 (%) Top5 (%) FP FP16 ( スケーリング無し ) FP16 (scaling=1000) Tensorコア (scaling=1000) (*) Nvcaffe-0.16, momentum SGD, 100 epochs, 1024 batch, DGX1 34
35 ロス スケーリングの効果 Alexnet ロス スケーリング無し ロス スケーリング有り FP32 FP16 (no scaling) FP32 FP16 (scaling=1000) 35
36 ロス スケーリングの効果 物体検出 トレーニングモード Multibox SSD (map) Facter-RCNN (map) FP % 69.1% Tensor コア ( スケーリング無し ) X 68.5% Tensor コア (scaling=256) 77.1% 69.7% 36
37 SEQ2SEQ NMT: ドイツ語 英語 OpenSeq2Seq NMT_ONE model Encoder: 2-layer bi-directional (512 LSTM) Attention: Normalized Bahdanau Decoder: 4-layer (512 LSTM) 37
38 SEQ2SEQ OpenSeq2Seq 単に Tensor コアを使用するだけでは 精度が低下 ロス スケーリング (1024) で FP32 と同程度の精度 fp32 TensorCore TensorCore (s=1024) 38
39 SEQ2SEQ NMT_ONE スケーリングファクター小さくできないか? fp32 TensorCore (s=32k) ロス スケーリング使用で FP32 と同程度の精度スケーリングファクター : 32K fp32 TensorCore (s=32k) 39
40 ロス関数変更とラーニングレート調整 Ave Loss Sum Loss LARS (Layer-wise Adaptive Rate Scaling) レイヤー毎に学習率を調整 (*) Yang You, et al., Large Batch Training of Convolutional Networks,
41 SEQ2SEQ NMT_ONE fp32 TensorCore (s=512) Sum Loss と LARS 使用スケーリングファクター : 512 FP32 と同程度の精度 fp32 TensorCore (s=512) 41
42 SEQ2SEQ GNMT-like Encoder: 8-layer bi-directional (1024 LSTM) Attention: GNMT-style normalized Bahdanau Decoder: 8-layer (1024 LSTM) fp32 TensorCore (s=1024) Sum Loss と LARS 使用スケーリングファクター : 1024 FP32 と同程度の精度 fp32 TensorCore (s=1024) (*) Yonghui Wu, et al.: Google s neural machine translation system: Bridging the gap between human and machine translation.,
43 言語モデル 1 Billion Word Language Benchmark BigLSTM 2 x 8192 LSTM, 1024 Projection Vocabulary: 800K words Solver: Adagrad (*) Rafal Jozefowicz, et al.: Exploring the Limits of Language Modeling.,
44 言語モデル BigLSTM: 2 x 8192 LSTM, 1024 projection ロス スケーリング無しでは収束せず 44
45 言語モデル BigLSTM: 2 x 8192 LSTM, 1024 projection ロス スケーリング (128) で FP32 と同程度の精度 45
46 勾配値の特徴 Activation 勾配の範囲は FP16 の表現可能領域より 小さいほうに偏っている 最大値は高々 10 程度? オーバフローすることなく スケールアップ可能 ( ~ 1024 倍 ) Weight 重みの勾配 >> Activation の勾配 消失しやすいのは Activation の勾配 ほぼ全てのモデルで共通の傾向 46
47 VOLTA 混合精度トレーニング FP32 と同じ精度のモデルをトレーニングする方法 ストレージ (weights, activation, gradients): FP16 ForwardとBackpropの計算 : Tensorコア Batch Normalization の計算は FP32 (cudnn は FP16 入力 FP32 計算 ) Update の計算 : FP32 (weights は fp16 と fp32 の両方で管理 ) 注意 勾配は FP16 で表現できないほど 小さくなることがある ( 勾配消失 ) 勾配消失は ロススケーリングで解消できる 47
48 DL フレームワークの対応状況 48
49 NVIDIA CAFFE FP16 Tensorコアに完全対応 ForwardとBackward: それぞれ データ型 計算型を指定可能 (FP32 or FP16) ウェイト更新 : FP32 更新対応ロス スケーリング対応 49
50 NVIDIA CAFFE
51 TENSOR FLOW Tensorコア : TensorFlow 1.4で対応データ型をFP16にすると Tensorコアを使用 ウェイト FP32 更新 : 可能 tf.cast(tf.get_variable(..., dtype=tf.float32), tf.float16) ロススケーリング : 可能 scale = 128 grads = [grad / scale for grad in tf.gradients(loss * scale, params)] 51
52 PYTORCH Tensor コア : 対応 FP16 ストレージにすると Tensor コアを使用 ウェイト FP32 更新 : 可能 Input = input.cuda().half() model = model.cuda().half() ロススケーリング : 可能 52
53 CHAINER Tensor コア : Chainer V4 で対応予定 データ型を FP16 にすると Tensor コア使用 x = F.cast(x, np.float16) FP32 パラメータ更新 : 対応 ロススケーリング : 対応 ( 予定 ) optimizer = chinaer.optimizers.sgd() optimizer.use_fp32_update() loss = lossfunc(y, t) loss.backward(loss_scale=1024) 53
54 ウェイトを FP16 で更新できないか? 54
55 ウェイトを FP32 で更新する問題 FP16 と FP32 の 2 種類のデータ型で ウェイトを管理する必要がある メモリ使用量の増加 FP16 でウェイトを更新できないか? 55
56 SGD FP16 の問題 : 更新消失 SGD によるウェイト更新 W(t+1) = W(t) λ * ΔW(t) (λ: 学習率 ) FP16 を使うと λ*δw(t) が小さくなりすぎることがある 学習初期 : ΔW(t) が非常に小さい (λ<1) 中盤以降 : 学習初期より ΔW(t) は大きくなるが λ は小さくなる 56
57 モメンタム SGD 1. モメンタム計算 : H(t+1) = m * H(t) λ * ΔW(t) (m: モメンタム係数 ) 2. ウェイト更新 : W(t+1) = W(t) + H(t+1) FP16 の場合 モメンタム計算 λ * ΔW(t) の減算で更新消失が起きやすい 57
58 モメンタム SGD 1. モメンタム計算 : H(t+1) = m * H(t) λ * ΔW(t) (m: モメンタム係数 ) 2. ウェイト更新 : W(t+1) = W(t) + H(t+1) モメンタム計算再考 H(t+1) = λ*δw(t) + m*h(t) = λ*δw(t) + m*( λ*δw(t-1) + m*h(t-1) ) = λ*δw(t) + m*( λ*δw(t-1) + m*( λ*δw(t-2) + m*h(t-2) ) ) = λ * ( ΔW(t) + m*δw(t-1) + m 2 *ΔW(t-2) + + m k *ΔW(t-k) + ) モメンタムは 勾配の蓄積と見なすことができる? 58
59 修正モメンタム SGD FP32 を使わなくても 更新消失を回避できる? モメンタムSGD 1. モメンタム計算 : H(t+1) = m * H(t) λ * ΔW(t) 2. ウェイト更新 : W(t+1) = W(t) + H(t+1) こう 解釈することも可能 1. モメンタム計算 : G(t+1) = m * G(t) + ΔW(t) 2. ウェイト更新 : W(t+1) = W(t) λ * G(t+1) G(t) は勾配の蓄積なので消失しにくい ウェイトは正しく更新される? 59
60 ウェイトも FP16 で更新 修正モメンタム SGD AlexNet FP32と同じ精度を達成 60
61 ALEXNET 修正モメンタム SGD トレーニングモード Top1 (%) Top5 (%) FP FP16 ( スケーリング無し ) FP16 (scaling=1000) Tensorコア (scaling=1000) Tensorコア (scale=1000), FP16ウェイト更新
62 INCEPTION-V3 修正モメンタム SGD トレーニングモード Top1 (%) Top5 (%) FP FP16 ( スケーリング無し ) FP16 (scaling=100) FP16 (scale=100), FP16ウェイト更新
63 INCEPTION-V3 修正モメンタム SGD 63
64 RESNET50 修正モメンタム SGD トレーニングモード Top1 (%) Top5 (%) FP FP16 (no scaling) FP16 (no scaling), FP16ウェイト更新 Tensorコア (no scaling), FP16ウェイト更新
65 RESNET50 修正モメンタム SGD Iteration 65
66 まとめ Tensorコア ( 混合精度 ) トレーニング ForwardとBackprop( 計算の大部分 ) はTensorコアで計算する ウェイトをFP32で更新する 多くのモデルはこれで収束 (FP32と同程度の精度) それ以外も ロス スケーリング設定でFP32レベルの精度に回復 ウェイトも FP16 で更新 モメンタム SGD の修正で CNN で FP32 と同等の精度を確認 66
67 LINKS Mixed-Precision Training of Deep Neural Networks, NVIDIA blog post devblogs.nvidia.com/parallelforall/mixed-precision-training-deep-neural-networks/ Training with Mixed Precision, NVIDIA DL SDK doc docs.nvidia.com/deeplearning/sdk/mixed-precision-training/index.html Paulius Micikevicius, et al., Mixed Precision Training arxiv.org/abs/
68
Images per Second Images per Second VOLTA: ディープラーニングにおける大きな飛躍 ResNet-50 トレーニング 2.4x faster ResNet-50 推論 TensorRT - 7ms レイテンシ 3.7x faster P100 V100 P10
NVIDIA TESLA V100 CUDA 9 のご紹介 森野慎也, シニアソリューションアーキテクト (GPU-Computing) NVIDIA Images per Second Images per Second VOLTA: ディープラーニングにおける大きな飛躍 ResNet-50 トレーニング 2.4x faster ResNet-50 推論 TensorRT - 7ms レイテンシ
GTC Japan, 2018/09/14 得居誠也, Preferred Networks Chainer における 深層学習の高速化 Optimizing Deep Learning with Chainer
GTC Japan, 2018/09/14 得居誠也, Preferred Networks Chainer における 深層学習の高速化 Optimizing Deep Learning with Chainer Chainer のミッション Deep Learning とその応用の研究開発を加速させる 環境セットアップが速い すぐ習熟 素早いコーディング 実験の高速化 結果をさっと公開 論文化
Haiku Generation Based on Motif Images Using Deep Learning Koki Yoneda 1 Soichiro Yokoyama 2 Tomohisa Yamashita 2 Hidenori Kawamura Scho
Haiku Generation Based on Motif Images Using Deep Learning 1 2 2 2 Koki Yoneda 1 Soichiro Yokoyama 2 Tomohisa Yamashita 2 Hidenori Kawamura 2 1 1 School of Engineering Hokkaido University 2 2 Graduate
ムーアの法則後の世界 年間のマイクロプロセッサのトレンド トランジスタ数 ( 千単位 ) 年率 1.1 倍 シングルスレッド性能 年率 1.5 倍 Original data up t
エヌビディアが加速する AI 革命 エヌビディア合同会社 エンタープライズマーケティング本部長林憲一 1 ムーアの法則後の世界 10 7 40 年間のマイクロプロセッサのトレンド 10 6 10 5 10 4 トランジスタ数 ( 千単位 ) 年率 1.1 倍 10 3 10 2 シングルスレッド性能 年率 1.5 倍 1980 1990 2000 2010 2020 Original data up
Mastering the Game of Go without Human Knowledge ( ) AI 3 1 AI 1 rev.1 (2017/11/26) 1 6 2
6 2 6.1........................................... 3 6.2....................... 5 6.2.1........................... 5 6.2.2........................... 9 6.2.3................. 11 6.3.......................
it-ken_open.key
深層学習技術の進展 ImageNet Classification 画像認識 音声認識 自然言語処理 機械翻訳 深層学習技術は これらの分野において 特に圧倒的な強みを見せている Figure (Left) Eight ILSVRC-2010 test Deep images and the cited4: from: ``ImageNet Classification with Networks et
第 1 回ディープラーニング分散学習ハッカソン <ChainerMN 紹介 + スパコンでの実 法 > チューター福 圭祐 (PFN) 鈴 脩司 (PFN)
第 1 回ディープラーニング分散学習ハッカソン チューター福 圭祐 (PFN) 鈴 脩司 (PFN) https://chainer.org/ 2 Chainer: A Flexible Deep Learning Framework Define-and-Run Define-by-Run Define Define by Run Model
スライド 1
CNN を用いた弱教師学習による画像領域分割 下田和, 柳井啓司 電気通信大学 大学院情報理工学 研究科 総合情報学専攻 c 2015 UEC Tokyo. Convolutional Neural Network CNN クラス分類タスクにおいてトップの精度 CNN の応用 ( 物体位置の認識 ) 物体検出 物体に BB を付与 領域分割 ピクセル単位の認識 CNN を用いた領域分割 CNN による完全教師ありのセグメンテーション
PowerPoint Presentation
ディープラーニングの 実践的な適用ワークフロー MathWorks Japan テクニカルコンサルティング部縣亮 2015 The MathWorks, Inc. 1 アジェンダ ディープラーニングとは?( おさらい ) ディープラーニングの適用ワークフロー ワークフローの全体像 MATLAB によるニューラルネットワークの構築 学習 検証 配布 MATLAB ではじめるメリット 試行錯誤のやりやすさ
b4-deeplearning-embedded-c-mw
ディープラーニングアプリケーション の組み込み GPU/CPU 実装 アプリケーションエンジニアリング部町田和也 2015 The MathWorks, Inc. 1 アジェンダ MATLAB Coder/GPU Coder の概要 ディープニューラルネットワークの組み込み実装ワークフロー パフォーマンスに関して まとめ 2 ディープラーニングワークフローのおさらい Application logic
ディープラーニングの最新トレンドとエヌビディアの最新GPU
ディープラーニング最新事情報ならびにその進化を支える NVIDIA の GPU と戦略 エンタープライズ事業部事業部長 井﨑武士 創業 1993 年 共同創立者兼 CEO ジェンスン フアン (Jen-Hsun Huang) 1999 年 NASDAQ に上場 (NVDA) 1999 年に GPU を発明その後の累計出荷台数は 1 億個以上 218 会計年度の売上高は 97 億ドル 社員は世界全体で
Slide 1
ハンズオン受講の為の準備講座 これから始める人の為の ディープラーニング基礎講座 村上真奈 NVIDIA CUDA & Deep Learning Solution Architect NVIDIA Corporation 1 機械学習とディープラーニングの関係 AGENDA ディープラーニングとは? ニューラルネットワークの構造 ディープラーニングの学習とは 畳み込みニューラルネットワーク 午後に予定しているハンズオンの為の基礎講座ディープラーニングをこれから始める方を対象に基礎概念や用語の解説を行います
ディープラーニングとは AGENDA Qwiklabs/DIGITS の使い方 DIGITS による物体検出入門ハンズオン
ハンズオンラボ DIGITS による物体検出入門 山崎和博 ディープラーニング ソリューションアーキテクト エヌビディア ディープラーニングとは AGENDA Qwiklabs/DIGITS の使い方 DIGITS による物体検出入門ハンズオン ディープラーニングとは 様々な分野でディープラーニングを応用 インターネットとクラウド 医学と生物学 メディアとエンターテイメント セキュリティと防衛 機械の自動化
AGENDA ディープラーニングとは Qwiklab/Jupyter notebook/digits の使い方 DIGITS による物体検出入門ハンズオン
ハンズオンラボ2 DIGITS による物体検出入門 村上真奈 NVIDIA CUDA & Deep Learning Solution Architect NVIDIA Corporation 1 AGENDA ディープラーニングとは Qwiklab/Jupyter notebook/digits の使い方 DIGITS による物体検出入門ハンズオン ディープラーニングとは 機械学習とディープラーニングの関係
画像分野におけるディープラーニングの新展開
画像分野におけるディープラーニングの新展開 MathWorks Japan アプリケーションエンジニアリング部テクニカルコンピューティング 太田英司 2017 The MathWorks, Inc. 1 画像分野におけるディープラーニングの新展開 物体認識 ( 画像全体 ) 物体の検出と認識物体認識 ( ピクセル単位 ) CNN (Convolutional Neural Network) R-CNN
Presentation Title
ディープラーニングによる画像認識の基礎と実践ワークフロー MathWorks Japan アプリケーションエンジニアリング部アプリケーションエンジニア福本拓司 2018 The MathWorks, Inc. 1 一般的におこなわれる目視による評価 製造ライン 医用データ 作業現場 インフラ 研究データ 現場での目視 大量画像の収集 専門家によるチェック 2 スマートフォンで撮影した映像をその場で評価
Slide 1
ディープラーニング最新動向と技術情報 なぜ GPU がディープラーニングに向いているのか エヌビディアディープラーニングソリューションアーキテクト兼 CUDAエンジニア村上真奈 ディープラーニングとは AGENDA なぜ GPU がディープラーニングに向いているか NVIDIA DIGITS 2 ディープラーニングとは 3 Google I/O 2015 基調講演 ディープラーニングのおかげで わずか一年で音声認識の誤認識率が
<4D F736F F F696E74202D F A282BD94BD959C89F A4C E682528D652E707074>
発表の流れ SSE を用いた反復解法ライブラリ Lis 4 倍精度版の高速化 小武守恒 (JST 東京大学 ) 藤井昭宏 ( 工学院大学 ) 長谷川秀彦 ( 筑波大学 ) 西田晃 ( 中央大学 JST) はじめに 4 倍精度演算について Lisへの実装 SSEによる高速化 性能評価 スピード 収束 まとめ はじめに クリロフ部分空間法たとえば CG 法は, 理論的には高々 n 回 (n は係数行列の次元数
Deep Learning によるビッグデータ解析 ~ 手法や CUDA による高速化 2014 年 9 月 5 日 G-DEP ソリューションパートナー株式会社システム計画研究所奥村義和
Deep Learning によるビッグデータ解析 ~ 手法や CUDA による高速化 2014 年 9 月 5 日 G-DEP ソリューションパートナー株式会社システム計画研究所奥村義和 目次 DeepLearning と GPU G-DEP テストドライブ ビッグデータ GPU DeepLearning の接点 目次 DeepLearningとGPU DeepLearningとは 仕組みと計算
プログラミング実習I
プログラミング実習 I 03 変数と式 人間システム工学科井村誠孝 m.imura@kwansei.ac.jp 3.1 変数と型 変数とは p.60 C 言語のプログラム中で, 入力あるいは計算された数や文字を保持するには, 変数を使用する. 名前がついていて値を入れられる箱, というイメージ. 変数定義 : 変数は変数定義 ( 宣言 ) してからでないと使うことはできない. 代入 : 変数には値を代入できる.
PowerPoint プレゼンテーション
多倍長計算手法 平成 年度第 四半期 今回はパラメータ の設定と精度に関してまとめて記述しました ループ積分と呼ばれる数値積分計算では 質量 の光子や質量が非常に小さい事はわかっているが その値は不明なニュートリノに対して赤外発散を防ぐため微小量を与えて計算しています この設定する微少量の値により 結果の精度及び反復に要する時間が大きく作用したり 誤った値を得る事があります ここでは典型的な つのケースで説明します
概要 単語の分散表現に基づく統計的機械翻訳の素性を提案 既存手法の FFNNLM に CNN と Gate を追加 dependency- to- string デコーダにおいて既存手法を上回る翻訳精度を達成
Encoding Source Language with Convolu5onal Neural Network for Machine Transla5on Fandong Meng, Zhengdong Lu, Mingxuan Wang, Hang Li, Wenbin Jiang, Qun Liu, ACL- IJCNLP 2015 すずかけ読み会奥村 高村研究室博士二年上垣外英剛 概要
情報処理学会研究報告 IPSJ SIG Technical Report Vol.2016-HPC-155 No /8/8 1,a) Convolutional Neural Network (CNN) CNN Stochastic Gradient Descent
1,a) 1 3 3 1 Convolutional Neural Network (CNN) CNN Stochastic Gradient Descent (SGD) SGD GPU CNN SGD SGD CNN SPRINT CNN TSUBAME-KFC/DL 116 CNN 8% 1. Deep Learning (DL) Deep Neural Network (DNN) [1] []
Presentation Title
ディープラーニングの システムへの展開 ~ エッジからクラウドまで ~ アプリケーションエンジニアリング部福本拓司 2015 The MathWorks, Inc. 1 機械学習 ディープラーニング関連セッション 2 ディープラーニング学習のイメージできましたでしょうか? カメラ データベースでのデータ取得 簡潔なコーディングで学習 & 検証 豊富なサンプルコード ユーザー成功事例 Deep Dream
ディープラーニングの現在 AGENDA ディープラーニング SDK NVIDIA DIGITS ディープラーニング フレームワーク / ディープラーニングの基礎
エヌビディアが加速するディープラーニング ~ 進化するニューラルネットワークとその開発方法について ~ ディープラーニングソリューションアーキテクト兼 CUDA エンジニア 村上真奈 ディープラーニングの現在 AGENDA ディープラーニング SDK NVIDIA DIGITS ディープラーニング フレームワーク / ディープラーニングの基礎 ディープラーニングの現在 人工知能にとって驚くべき一年
SICE東北支部研究集会資料（2017年）
307 (2017.2.27) 307-8 Deep Convolutional Neural Network X Detecting Masses in Mammograms Based on Transfer Learning of A Deep Convolutional Neural Network Shintaro Suzuki, Xiaoyong Zhang, Noriyasu Homma,
第22回計算工学講演会 機械学習によるコード最適化の可能性 2017年5月31日＠ソニックシティ―
第 1 回自動チューニング技術の現状と応用に関するシンポジウム (ATTA218) 機械学習技術の活用による職人的プログラミングの知能化 218 年 12 月 25 日 @ 東京大学弥生講堂一条ホール 滝沢寛之 ( たきざわひろゆき ) 東北大学サイバーサイエンスセンター takizawa@tohoku.ac.jp 2 背景 : 職人的プログラミング スパコンの大規模化 複雑化 スパコンの性能のモデル化が困難
Microsoft PowerPoint - pr_12_template-bs.pptx
12 回パターン検出と画像特徴 テンプレートマッチング 領域分割 画像特徴 テンプレート マッチング 1 テンプレートマッチング ( 図形 画像などの ) 型照合 Template Matching テンプレートと呼ばれる小さな一部の画像領域と同じパターンが画像全体の中に存在するかどうかを調べる方法 画像内にある対象物体の位置検出 物体数のカウント 物体移動の検出などに使われる テンプレートマッチングの計算
2017 (413812)
2017 (413812) Deep Learning ( NN) 2012 Google ASIC(Application Specific Integrated Circuit: IC) 10 ASIC Deep Learning TPU(Tensor Processing Unit) NN 12 20 30 Abstract Multi-layered neural network(nn) has
Slides: TimeGraph: GPU Scheduling for Real-Time Multi-Tasking Environments
計算機アーキテクチャ第 11 回 マルチプロセッサ 本資料は授業用です 無断で転載することを禁じます 名古屋大学 大学院情報科学研究科 准教授加藤真平 デスクトップ ジョブレベル並列性 スーパーコンピュータ 並列処理プログラム プログラムの並列化 for (i = 0; i < N; i++) { x[i] = a[i] + b[i]; } プログラムの並列化 x[0] = a[0] + b[0];
はじめに AI は 感染症の早期発見と治療法の探索 交通事故死の削減 事故発生前の重大なインフラ欠陥の発見など 人類が直面する複雑な > 問題を解決するのに役立てられています AI とディープラーニング利用における 2 つの大きな課題は パフォーマンスの最大化と 絶え間なく変化する基盤技術の管理です
技術概要 NVIDIA GPU CLOUD ディープラーニングソフトウェア 最適化されたディープラーニングコンテナーのガイド はじめに AI は 感染症の早期発見と治療法の探索 交通事故死の削減 事故発生前の重大なインフラ欠陥の発見など 人類が直面する複雑な > 問題を解決するのに役立てられています AI とディープラーニング利用における 2 つの大きな課題は パフォーマンスの最大化と 絶え間なく変化する基盤技術の管理です
Coding theorems for correlated sources with cooperative information
MCMC-based particle filter を用いた人間の映像注視行動の実時間推定 2009 年 7 月 21 日 宮里洸司 (2) 木村昭悟 (1) 高木茂 (2) 大和淳司 (1) 柏野邦夫 (1) (1) 日本電信電話 ( 株 )NTT コミュニケーション科学基礎研究所メディア情報研究部メディア認識研究グループ (2) 国立沖縄工業高等専門学校情報通信システム工学科 背景 ヒトはどのようにして
音響モデル triphone 入力音声 音声分析 デコーダ 言語モデル N-gram bigram HMM の状態確率として利用 出力層 triphone: 3003 ノード リスコア trigram 隠れ層 2048 ノード X7 層 1 Structure of recognition syst
1,a) 1 1 1 deep neural netowrk(dnn) (HMM) () GMM-HMM 2 3 (CSJ) 1. DNN [6]. GPGPU HMM DNN HMM () [7]. [8] [1][2][3] GMM-HMM Gaussian mixture HMM(GMM- HMM) MAP MLLR [4] [3] DNN 1 1 triphone bigram [5]. 2
インテル FPGA の Deep Learning Acceleration Suite とマイクロソフトの Brainwave を HW 視点から比較してみる
インテル FPGA の Deep Learning Acceleration Suite とマイクロソフトの Brainwave を HW 視点から比較してみる インテル株式会社プログラマブル ソリューションズ事業本部シニア テクノロジー スペシャリスト 竹村幸尚 DA22 FPGA とは 汎用アクセラレーターとしての FPGA なぜ FPGA アクセラレーションか FPGA の性能向上 CPU 対
MATLAB® における並列・分散コンピューティング ~ Parallel Computing Toolbox™ & MATLAB Distributed Computing Server™ ~
MATLAB における並列 分散コンピューティング ~ Parallel Computing Toolbox & MATLAB Distributed Computing Server ~ MathWorks Japan Application Engineering Group Takashi Yoshida 2016 The MathWorks, Inc. 1 System Configuration
Convolutional Neural Network A Graduation Thesis of College of Engineering, Chubu University Investigation of feature extraction by Convolution
Convolutional Neural Network 2014 3 A Graduation Thesis of College of Engineering, Chubu University Investigation of feature extraction by Convolutional Neural Network Fukui Hiroshi 1940 1980 [1] 90 3
PowerPoint プレゼンテーション
多倍長精度演算の性能評価 日時 年 月 日 :3-: 場所工学院大学新宿校舎 8 階第 4 会議室 高エネルギー加速器研究機構 濱口信行 hgu@post.kek.jp // 第 回多倍長精度計算フォーラム . はじめに 計算センター => ユーザプログラムの実行効率は何 % です よく出ています or 改善してください 実行性能 = 演算量 / 実行時間実行効率 = 実行性能 / 理論性能 ユーザ実行時間
tabaicho3mukunoki.pptx
1 2 はじめに n 目的 4倍精度演算より高速な3倍精度演算を実現する l 倍精度では足りないが4倍精度は必要ないケースに欲しい l 4倍精度に比べてデータサイズが小さい Ø 少なくともメモリ律速な計算では4倍精度よりデータ 転送時間を減らすことが可能 Ø PCIeやノード間通信がボトルネックとなりやすい GPUクラスタ環境に有効か n 研究概要 l DD型4倍精度演算 DD演算 に基づく3倍精度演算
00 0 0 0 0 0 00 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.... 0........ 0 0 0 0 0 0 0 0 0 0..0..........0 0 0 0 0 0 0 0 0 0 0.... 0........ 0 0 0 0 0 0 0 0 0 0... 0...... 0... 0 0 0 0 0 0..0 0... 0 0 0 0 0.0.....0.
スライド 1
ディープラーニングへの Ruby 適用試行に関する報告 2017 年 2 月 15 日 Japan OSS Promotion Forum アプリケーション部会 サイオステクノロジー株式会社 手塚拓 0 目次 1. ディープラーニングとは 2. ディープラーニングに Ruby を利用する価値 3. Ruby でディープラーニング の問題点 4. 現状報告 I. 予備知識 II. 検証 III. 報告
Poincaré Embedding による 分散表現の獲得 M1 橋本隼人 森信介 京都大学情報学研究科 / 学術情報メディアセンター森研究室 1
Poincaré Embedding による 分散表現の獲得 M1 橋本隼人 森信介 京都大学情報学研究科 / 学術情報メディアセンター森研究室 1 おしらせ 予稿集から変更 ネガティブサンプリングの式 追加実験 ご意見等は予稿のアドレスかこちらへ http://www.ar.media.kyoto-u.ac.jp/ 京都大学森研究室自然言語処理
http//umercalbra.org/lectures/deep-learg/ z l l-1 = f w l 1 z l 1 1 f x = 1 + e x x x > 0 f x = 0 x 0 z l l-1 = f w l 1 z l 1
http//umercalbra.org/lectures/deep-learg/ z l l-1 = f w l 1 z l 1 1 f x = 1 + e x x x > 0 f x = 0 x 0 z l l-1 = f w l 1 z l 1 typedef struct Layer *layer; Coecto *coecto; sfmt_t rg; t ; Networ; double
Deep Learning Deep Learning GPU GPU FPGA %
2016 (412825) Deep Learning Deep Learning GPU GPU FPGA 16 1 16 69% Abstract Recognition by DeepLearning attracts attention, because of its high recognition accuracy. Lots of learning is necessary for Deep
スライド 1
GPU クラスタによる格子 QCD 計算 広大理尾崎裕介 石川健一 1.1 Introduction Graphic Processing Units 1 チップに数百個の演算器 多数の演算器による並列計算 ~TFLOPS ( 単精度 ) CPU 数十 GFLOPS バンド幅 ~100GB/s コストパフォーマンス ~$400 GPU の開発環境 NVIDIA CUDA http://www.nvidia.co.jp/object/cuda_home_new_jp.html
機械学習 ハンズオン-チュートリアル
機械学習 ハンズオン - チュートリアル 初めてのペアモニター研究 はじめに このチュートリアルは機械学習の環境を構築し ニューラルネットワークが実行できるようになるところまで行います チュートリアルの流れ 1. 環境構築 2. 機械学習用プログラム実装 & 実行 3. プログラムの改良 ( 精度向上のため ) 4. 機械学習についてより深く理解するために 2 y[mm] y[mm] 機械学習 ヒット分布
2/69
3 2018-07-18 SVM 2018-07-25 (MM ) DC EM l 1 2018-08-01 Generative Adversarial Network(GAN) 1/69 2/69 input x output y = f(x; Θ) Θ : Deep Neural Network(DNN) 3/69 f(x; Θ) = ϕ D ( ϕ 2 (b 2 + W 2 ϕ 1 (b 1
Microsoft Word - 補論3.2
補論 3. 多変量 GARC モデル 07//6 新谷元嗣 藪友良 対数尤度関数 3 章 7 節では 変量の対数尤度を求めた ここでは多変量の場合 とくに 変量について対数尤度を求める 誤差項 は平均 0 で 次元の正規分布に従うとする 単純化のため 分散と共分散は時間を通じて一定としよう ( この仮定は後で変更される ) したがって ij から添え字 を除くことができる このとき と の尤度関数は
WiFiの現状
V1.0 2019/10/23 はじめての AI 用パソコン Tensorflow 学習編 (ubuntu 版 ) 抜粋版 スペクトラム テクノロジー株式会社 https://spectrum-tech.co.jp sales@spectrum-tech.co.jp all rights reserved 2019 spectrum technology co. 1 目次 ubuntu 運用マニュアル
_314I01BM浅谷2.indd
587 ネットワークの表現学習 1 1 1 1 Deep Learning [1] Google [2] Deep Learning [3] [4] 2014 Deepwalk [5] 1 2 [6] [7] [8] 1 2 1 word2vec[9] word2vec 1 http://www.ai-gakkai.or.jp/my-bookmark_vol31-no4 588 31 4 2016
dlshogiアピール文章
第 28 回世界コンピュータ将棋選手権 dlshogi アピール文章 山岡忠夫 2018 年 5 月 1 日更新 下線部分は 第 5 回将棋電王トーナメントからの差分を示す 1 特徴 ディープラーニングを使用 指し手を予測する Policy Network 局面の勝率を予測する Value Network 入力特徴にドメイン知識を活用 モンテカルロ木探索 並列化 自己対局による強化学習 既存将棋プログラムの自己対局データを使った事前学習
データ科学2.pptx
データ科学 多重検定 2 mul%ple test False Discovery Rate 藤博幸 前回の復習 1 多くの検定を繰り返す時には 単純に個々の検定を繰り返すだけでは不十分 5% 有意水準ということは, 1000 回検定を繰り返すと, 50 回くらいは帰無仮説が正しいのに 間違って棄却されてすまうじちがあるということ ex) 1 万個の遺伝子について 正常細胞とガン細胞で それぞれの遺伝子の発現に差があるかどうかを検定
スライド 1
ATI Stream SDK による 天文 物理計算の高速化 会津大学中里直人 計算事例 : 重力 N 体計算 No.2 プログラム :N 体の重力計算 (1) No.3 既存のアルゴリズムやアプリケーションを CAL で実装するには 前提として 並列計算可能な問題でなくては 利用する意味がない GPU のアーキテクチャにあわせて アルゴリズムを変更する必要あり GPU のメモリに合わせた 効率のよいデータ構造を考える必要あり
Coding theorems for correlated sources with cooperative information
グラフコストの逐次更新を用いた映像顕著領域の自動抽出 2009 年 5 月 28 日 福地賢宮里洸司 (2) 木村昭悟 (1) 高木茂 (2) 大和淳司 (1) (1) 日本電信電話 ( 株 )NTT) コミュニケーション科学基礎研究所メディア情報研究部メディア認識研究グループ (2) 国立沖縄工業高等専門学校情報通信システム工学科 背景 ヒトはどのようにして もの を認識する能力を獲得するのか?
_DeepLearning.key
応 用編 : C++ による ニューラル機械翻訳モデル 東京 大学鶴岡研 D2 江 里里 口瑛 子 自 己紹介 江 里里 口瑛 子 ( えりぐちあきこ ) 鶴岡研究室博 士後期課程 2 年年 お茶茶の 水 女女 子 大学 東京 大学 http://www.logos.t.u- tokyo.ac.jp/~ eriguchi/ 研究興味 : ニューラル機械翻訳, トピックモデル 本 日の内容 応 用編
講習No.8
配列変数の要素 復習 int x[5]; x[0] x[1] x[2] x[3] x[4] 5 は配列の要素数 これらの変数をそれぞれ配列の要素と呼ぶ この数字を配列の添え字, またはインデックスと呼ぶ! 重要! インデックスの最大値 = 要素数ー 1 int x = 7; float aa[x]; int x = 7; float aa[7];! 重要! 配列宣言時の要素数は定数でなければならない
PowerPoint プレゼンテーション
20150528 信号処理システム特論 本日の内容 適応フィルタ ( 時間領域 ) 適応アルゴリズム (LMS,NLMS,RLS) 適応フィルタの応用例 適応処理 非適応処理 : 状況によらずいつでも同じ処理 適応処理 : 状況に応じた適切な処理 高度な適応処理の例 雑音抑圧, 音響エコーキャンセラ, 騒音制御など 時間領域の適応フィルタ 誤差信号 与えられた手順に従ってフィルタ係数を更新し 自動的に所望の信号を得るフィルタ
ディープラーニングによって加速する AI 競争 100% 90% 80% 従来 CV 手法 IMAGENET 正答率 ディープラーニング 70% 60% IBM Watson が自然言語処理のブレークスルーを実現 Facebook が Big Sur を発表 Baidu の Deep Speech
エヌビディアのディープラーニング戦略 エヌビディア合同会社プラットフォームビジネス本部部長 林憲一 ディープラーニングによって加速する AI 競争 100% 90% 80% 従来 CV 手法 IMAGENET 正答率 ディープラーニング 70% 60% IBM Watson が自然言語処理のブレークスルーを実現 Facebook が Big Sur を発表 Baidu の Deep Speech 2
Slide 1
GPU コンピューティング研究会ディープラーニング ハンズオン講習 エヌビディア合同会社 ディープラーニングソリューションアーキテクト兼 CUDA エンジニア村上真奈 追記 ハンズオンのおさらいを後日行いたい方へ MNIST データセットは以下からダウンロードする事が可能です (gz 形式 ) http://yann.lecun.com/exdb/mnist/ 下記スクリプトでも簡単にデータをダウンロード可能です
Fujitsu Standard Tool
LSI とシステムのワークショップ 2017 2017 年 5 月 16 日 Deep Learning 向け高効率化技術 について 富士通研究所コンピュータシステム研究所池敦 0 アウトライン はじめに 背景 富士通のAIへの取り組みについて 富士通 Zinrai ディープラーニング Deep Learning 向け高効率化技術 Deep Learningとは Deep Learning 向け高効率化技術とは
char int float double の変数型はそれぞれ 文字あるいは小さな整数 整数 実数 より精度の高い ( 数値のより大きい より小さい ) 実数 を扱う時に用いる 備考 : 基本型の説明に示した 浮動小数点 とは数値を指数表現で表す方法である 例えば は指数表現で 3 書く
変数 入出力 演算子ここまでに C 言語プログラミングの様子を知ってもらうため printf 文 変数 scanf 文 if 文を使った簡単なプログラムを紹介した 今回は変数の詳細について習い それに併せて使い方が増える入出力処理の方法を習う また 演算子についての復習と供に新しい演算子を紹介する 変数の宣言プログラムでデータを取り扱う場合には対象となるデータを保存する必要がでてくる このデータを保存する場所のことを
Microsoft Word - 1 color Normalization Document _Agilent version_ .doc
color 実験の Normalization color 実験で得られた複数のアレイデータを相互比較するためには Normalization( 正規化 ) が必要です 2 つのサンプルを異なる色素でラベル化し 競合ハイブリダイゼーションさせる 2color 実験では 基本的に Dye Normalization( 色素補正 ) が適用されますが color 実験では データの特徴と実験の目的 (
Microsoft PowerPoint - 7.Arithmetic.ppt
第 7 章デジタル演算回路 1 デジタル信号処理音声, 音楽, 通信信号 信号 = 符号付き 2 進データ 負の数値の表現方法 2 2 進数 n ビット n-1 =Σb i 2 i 0 2 の補数 +=2 n n-1 n-1 2 n =1+Σb i 2 i +Σb i 2 i 0 0 n-1 =2 n ー =1+Σb i 2 i 0 3 2 進数の補数 2 の補数 各桁のビットを反転した後で最下位に
03_特集2_3校_0929.indd
MEDICAL IMAGING TECHNOLOGY Vol. 35 No. 4 September 2017 187 CT 1 1 convolutional neural network; ConvNet CT CT ConvNet 2D ConvNet CT ConvNet CT CT Med Imag Tech 35 4 : 187 193, 2017 1. CT MR 1 501-1194
PowerPoint プレゼンテーション
各種計算機アプリケーション性能比較 目次. はじめに. 行列積計算.QDR 積計算 4.N 体問題計算 5. 多次元積分計算 5. 次元積分計算 5. 次元積分計算 5. 4 次元積分計算 5.4 5 次元積分計算 5.5 6 次元積分計算 平成 6 年度第 四半期 . はじめに 今までと少し性質の異なるグラフィックボードが使用できる様になったので従来のアプリケーションで性能比較を実施しました 主に使用した計算機は以下のものです
35_3_9.dvi
180 Vol. 35 No. 3, pp.180 185, 2017 Image Recognition by Deep Learning Hironobu Fujiyoshi and Takayoshi Yamashita Chubu University 1. 1990 2000 Scale-Invariant Feature Transform SIFT Histogram of Oriented
Microsoft PowerPoint - qcomp.ppt [互換モード]
![Microsoft PowerPoint - qcomp.ppt [互換モード]](/thumbs/85/91243661.jpg "Microsoft PowerPoint - qcomp.ppt [互換モード]")
量子計算基礎 東京工業大学 河内亮周 概要 計算って何? 数理科学的に 計算 を扱うには 量子力学を計算に使おう! 量子情報とは? 量子情報に対する演算 = 量子計算 一般的な量子回路の構成方法 計算って何? 計算とは? 計算 = 入力情報から出力情報への変換 入力 計算機構 ( デジタルコンピュータ,etc ) 出力 計算とは? 計算 = 入力情報から出力情報への変換 この関数はどれくらい計算が大変か??
ビッグデータ分析を高速化する 分散処理技術を開発 日本電気株式会社
ビッグデータ分析を高速化する 分散処理技術を開発 日本電気株式会社 概要 NEC は ビッグデータの分析を高速化する分散処理技術を開発しました 本技術により レコメンド 価格予測 需要予測などに必要な機械学習処理を従来の 10 倍以上高速に行い 分析結果の迅速な活用に貢献します ビッグデータの分散処理で一般的なオープンソース Hadoop を利用 これにより レコメンド 価格予測 需要予測などの分析において
本ラボの目的 ディープラーニングのイントロダクション ネットワークのトレーニング トレーニングの結果を理解する コンピュータビジョン 画像分類に関するハンズオン Caffe と DIGITS を使用する 1/17/217 6
DIGITSによるディープラーニング画像分類 森野慎也, シニアソリューションアーキテクト ディープラーニング部 エヌビディアジャパン 217/1/17 本ラボの目的 ディープラーニングのイントロダクション ネットワークのトレーニング トレーニングの結果を理解する コンピュータビジョン 画像分類に関するハンズオン Caffe と DIGITS を使用する 1/17/217 6 本ラボが意図しないこと
多変量解析 ~ 重回帰分析 ~ 2006 年 4 月 21 日 ( 金 ) 南慶典
多変量解析 ~ 重回帰分析 ~ 2006 年 4 月 21 日 ( 金 ) 南慶典 重回帰分析とは? 重回帰分析とは複数の説明変数から目的変数との関係性を予測 評価説明変数 ( 数量データ ) は目的変数を説明するのに有効であるか得られた関係性より未知のデータの妥当性を判断する これを重回帰分析という つまり どんなことをするのか? 1 最小 2 乗法により重回帰モデルを想定 2 自由度調整済寄与率を求め
[5] [6] [7 10] 2 [5] (RQ:Research Question) RQ1:? RQ2:? Commit Guru Commit Guru [1] Emad Shihab Web Commit Guru [10] Number of Subsystems(
![[5] [6] [7 10] 2 [5] (RQ:Research Question) RQ1:? RQ2:? Commit Guru Commit Guru [1] Emad Shihab Web Commit Guru [10] Number of Subsystems(](/thumbs/88/115640952.jpg "[5] [6] [7 10] 2 [5] (RQ:Research Question) RQ1:? RQ2:? Commit Guru Commit Guru [1] Emad Shihab Web Commit Guru [10] Number of Subsystems(")
s-hirose@se.is.kit.ac.jp o-mizuno@kit.ac.jp 1 2 1 1 1 Commit Guru 1 [1] (commit) Yang [2] Wang [3] Sharma [4] [5] (CNN:Convolutional Neural Networks) ( ) 1 Commit Guru:http://commit.guru 130 SEA [5] [6]
遅延デジタルフィルタの分散型積和演算回路を用いたFPGA実装の検討
第 回電気学会東京支部栃木 群馬支所合同研究発表会 ETT--7 遅延デジタルフィルタの分散型積和演算回路を用いた FPGA 実装の検討 易茹 * 立岩武徳 ( 群馬大学 ) 浅見幸司 ( 株式会社アドバンテスト ) 小林春夫 ( 群馬大学 ) 発表内容 研究の背景 目的 分散型積和演算回路 実装の検討 まとめ 今後の課題 発表内容 研究の背景 目的 分散型積和演算回路 実装の検討 まとめ 今後の課題
人工知能（AI）時代、企業は、何をすべきか？
情報テクノロジーの進展がもたらす近未来社会の姿を考える AI AI AI: artificial intelligence 1983 8 nontenure-track AI AI AI 1983 AI A* A star Dijkistra Prolog (deductive method) 3 3 A B B C A C 2 3 Prolog 2 2 man(socrates). mortal(x)
BIT -2-
2004.3.31 10 11 12-1- BIT -2- -3-256 258 932 524 585 -4- -5- A B A B AB A B A B C AB A B AB AB AB AB -6- -7- A B -8- -9- -10- mm -11- fax -12- -13- -14- -15- s58.10.1 1255 4.2 30.10-16- -17- -18- -19-6.12.10
Outline ACL 2017 ACL ACL 2017 Chairs/Presidents
ACL 2017, 2017/9/7 Outline ACL 2017 ACL ACL 2017 Chairs/Presidents ACL ACL he annual meeting of the Association for Computational Linguistics (Computational Linguistics) (Natural Language Processing) /
最小二乗法とロバスト推定
はじめに 最小二乗法とロバスト推定 (M 推定 ) Maplesoft / サイバネットシステム ( 株 ) 最小二乗法は データフィッティングをはじめとしてデータ解析ではもっともよく用いられる手法のひとつです Maple では CurveFitting パッケージの LeastSquares コマンドや Statistics パッケージの Fit コマンド NonlinearFit コマンドなどを用いてデータに適合する数式モデルを求めることが可能です
ディープラーニングが変える未来 - PFN の事業戦略と Chainer on AWS - Preferred Networks 研究担当 VP 比戸将平
ディープラーニングが変える未来 - PFN の事業戦略と Chainer on AWS - Preferred Networks 研究担当 VP 比戸将平 株式会社 Preferred Networks (PFN) 設立 :2014 年 3 月 所在地 : 東京本社 カリフォルニア州バークレー ( 米国子会社 ) 社員数 : 日本約 150 名 米国 7 名 人工知能技術 ( ディープラーニング )
,., ping - RTT,., [2],RTT TCP [3] [4] Android.Android,.,,. LAN ACK. [5].. 3., 1.,. 3 AI.,,Amazon, (NN),, 1..NN,, (RNN) RNN
![,., ping - RTT,., [2],RTT TCP [3] [4] Android.Android,.,,. LAN ACK. [5].. 3., 1.,. 3 AI.,,Amazon, (NN),, 1..NN,, (RNN) RNN](/thumbs/91/105260962.jpg ",., ping - RTT,., [2],RTT TCP [3] [4] Android.Android,.,,. LAN ACK. [5].. 3., 1.,. 3 AI.,,Amazon, (NN),, 1..NN,, (RNN) RNN")
DEIM Forum 2018 F1-1 LAN LSTM 112 8610 2-1-1 163-8677 1-24-2 E-mail: aoi@ogl.is.ocha.ac.jp, oguchi@is.ocha.ac.jp, sane@cc.kogakuin.ac.jp,,.,,., LAN,. Android LAN,. LSTM LAN., LSTM, Analysis of Packet of
SAP11_03
第 3 回 音声音響信号処理 ( 線形予測分析と自己回帰モデル ) 亀岡弘和 東京大学大学院情報理工学系研究科日本電信電話株式会社 NTT コミュニケーション科学基礎研究所 講義内容 ( キーワード ) 信号処理 符号化 標準化の実用システム例の紹介情報通信の基本 ( 誤り検出 訂正符号 変調 IP) 符号化技術の基本 ( 量子化 予測 変換 圧縮 ) 音声分析 合成 認識 強調 音楽信号処理統計的信号処理の基礎
SUALAB INTRODUCTION SUALAB Solution SUALAB は 人工知能 ( ディープラーニング ) による画像解析技術を通して 迅速 正確 そして使いやすいマシンビジョン用のディープラーニングソフトウェアライブラリーである SuaKIT を提供します これは 従来のマシン
SuaKIT suɑ kít Deep learning S/WLibrary for MachineVision SuaKIT は ディスプレイ 太陽光 PCB 半導体など 様々な分野で使用できる メーカー独自のディープラーニングのマシンビジョンソフトウェアライブラリーです SuaKIT は 様々な産業分野から実際に取得された画像データに基づいて開発されました Samsung LG SK Hanwha
EBNと疫学
推定と検定 57 ( 復習 ) 記述統計と推測統計 統計解析は大きく 2 つに分けられる 記述統計 推測統計 記述統計 観察集団の特性を示すもの 代表値 ( 平均値や中央値 ) や ばらつきの指標 ( 標準偏差など ) 図表を効果的に使う 推測統計 観察集団のデータから母集団の特性を 推定 する 平均 / 分散 / 係数値などの推定 ( 点推定 ) 点推定値のばらつきを調べる ( 区間推定 ) 検定統計量を用いた検定
スライド 1
東北大学工学部機械知能 航空工学科 2015 年度 5 セメスター クラス D 計算機工学 6. MIPS の命令と動作 演算 ロード ストア ( 教科書 6.3 節,6.4 節 ) 大学院情報科学研究科鏡慎吾 http://www.ic.is.tohoku.ac.jp/~swk/lecture/ レジスタ間の演算命令 (C 言語 ) c = a + b; ( 疑似的な MIPS アセンブリ言語 )
Presentation Title
基礎から始める機械学習 深層学習 MathWorks Japan アプリケーションエンジニア井原瑞希 2018 The MathWorks, Inc. 1 Outline 機械学習の基礎 教師あり学習と教師なし学習 教師あり学習 回帰と分類 Case1: 特徴が明確な場合の数値の分類 ニューラルネットワーク以外の機械学習 Case2: 特徴が不明瞭な場合の信号分類 ニューラルネットワーク Case3:
ソフトウェア基礎技術研修
算術論理演算ユニットの設計 ( 教科書 4.5 節 ) yi = fi (x, x2, x3,..., xm) (for i n) 基本的な組合せ論理回路 : インバータ,AND ゲート,OR ゲート, y n 組合せ論理回路 ( 復習 ) 組合せ論理回路 : 出力値が入力値のみの関数となっている論理回路. 論理関数 f: {, } m {, } n を実現.( フィードバック ループや記憶回路を含まない
共有辞書を用いた 効率の良い圧縮アルゴリズム
大規模テキストに対する 共有辞書を用いた Re-Pair 圧縮法 Variable-to-Fixed-Length Encoding for Large Texts Using Re-Pair Algorithm with Efficient Shared Dictionaries 関根渓, 笹川裕人, 吉田諭史, 喜田拓也 北海道大学大学院情報科学研究科 1 背景 : 巨大なデータ 計算機上で扱うデータの巨大化.
WHITE PAPER RNN
WHITE PAPER RNN ii 1... 1 2 RNN?... 1 2.1 ARIMA... 1 2.2... 2 2.3 RNN Recurrent Neural Network... 3 3 RNN... 5 3.1 RNN... 6 3.2 RNN... 6 3.3 RNN... 7 4 SAS Viya RNN... 8 4.1... 9 4.2... 11 4.3... 15 5...
PowerPoint プレゼンテーション
自然言語処理分野の 最前線 進藤裕之奈良先端科学技術大学院大学 2017-03-12 第五回ステアラボ AI セミナー 進藤裕之 (Hiroyuki Shindo) 所属 : 奈良先端科学技術大学院大学自然言語処理学研究室 ( 松本研 ) 助教 専門 : 構文解析, 意味解析 @hshindo (Github) 1 これまでの取り組み 文の文法構造 意味構造の導出 構文解析 複単語表現解析 述語項構造解析
Anaconda (2019/7/3)
Published on Research Center for Computational Science (https://ccportal.ims.ac.jp) Home > Anaconda3-2019.03 (2019/7/3) Anaconda3-2019.03 (2019/7/3) 1 利用方法 conda, anaconda に関する情報はウェブ上にたくさんありますので それらも参考にしてください
『オープンサイエンス』とAI～オープン化は人工知能研究をどう変えるか？～
AI 研究をどう変えるか?~ KITAMOTO Asanobu http://researchmap.jp/kitamoto/ KitamotoAsanob u 2018/06/07 1 2018/06/07 2 デジタル台風とは? http://agora.ex.nii.ac.jp/digital-typhoon/ 1999 2000 P 2018/06/07 3 200813 0 1 Collaboration
スライド 1
東北大学工学部機械知能 航空工学科 2018 年度クラス C3 D1 D2 D3 情報科学基礎 I 10. 組合せ回路 ( 教科書 3.4~3.5 節 ) 大学院情報科学研究科 鏡慎吾 http://www.ic.is.tohoku.ac.jp/~swk/lecture/ 組合せ論理回路 x1 x2 xn 組合せ論理回路 y1 y2 ym y i = f i (x 1, x 2,, x n ), i
nlp1-12.key
自然言語処理論 I 12. テキスト処理 ( 文字列照合と検索 ) 情報検索 information retrieval (IR) 広義の情報検索 情報源からユーザの持つ問題 ( 情報要求 ) を解決できる情報を見つけ出すこと 狭義の情報検索 文書集合の中から ユーザの検索質問に適合する文書を見つけ出すこと 適合文書 : 検索質問の答えが書いてある文書 テキスト検索 (text retrieval)
要 旨 題目深層学習による人物検出学籍番号 T 氏名海住嘉希指導教員白井英俊近年 深層学習による画像認識が高い精度で成果を挙げていることで注目されている 本研究では 深層学習によって物体認識を行う三つの手法を用いて実装を行った そして 三つの手法の実装結果から人物検出に焦点をあて これら
2016 年度 卒業論文 深層学習による人物検出 指導教員白井英俊教授 中京大学工学部電気電子工学科 学籍番号 T213021 氏名 海住嘉希 (2017 年 1 月 ) 要 旨 題目深層学習による人物検出学籍番号 T213021 氏名海住嘉希指導教員白井英俊近年 深層学習による画像認識が高い精度で成果を挙げていることで注目されている 本研究では 深層学習によって物体認識を行う三つの手法を用いて実装を行った
Jetson and Azure ハンズオン
DLLAB Japan Tour 2019 AI と IoT が出合う日 : IoT 編 エヌビディア合同会社 本日の全体像 USB メモリ jetson-inference のビルド用ファイルなど Jetson TX2 開発者キット Jetson でビルド / 実行 VNC/SSH 接続 jetsoninference GitHub NVIDIA GPU Cloud (NGC) DIGITS コンテナイメージ
研究報告用MS-Wordテンプレートファイル
マルチコアおよび GPGPU 環境における画像処理最適化 矢野勝久 高山征大 境隆二出宮健彦 スケーラを題材として, マルチコアおよび GPGPU 各々の HW 特性に適した画像処理の最適化を図る. マルチコア環境では, 数値演算処理の削減,SIMD 化など直列性能の最適化を行った後,OpenMP を利用して並列化を図る.GPGPU(CUDA) では, スレッド並列を優先して並列処理の設計を行いブロックサイズを決める.
ボルツマンマシンの高速化
1. はじめに ボルツマン学習と平均場近似 山梨大学工学部宗久研究室 G04MK016 鳥居圭太 ボルツマンマシンは学習可能な相互結合型ネットワー クの代表的なものである. ボルツマンマシンには, 学習のための統計平均を取る必要があり, 結果を求めるまでに長い時間がかかってしまうという欠点がある. そこで, 学習の高速化のために, 統計を取る2つのステップについて, 以下のことを行う. まず1つ目のステップでは,
PowerPoint プレゼンテーション
講座を行う前に 自己紹介 僕と上回生について 1 年生同士で少しお話しよう! オリエンテーションの宿題 アルゴロジック http://home.jeita.or.jp/is/highschool/algo/index3.html どこまでできましたか? あまりできなかった人はこれから全部クリアしよう! 2016 年度 C 言語講座 第一回目 2016/6/11 fumi 今回の目標 プログラムを書いて実行するやり方を覚える
ディープラーニングの組み込み機器実装ソリューション ~GPC/CPU編~
ディープラーニングの組み込み機器実装ソリューション ~GPU/CPU 編 ~ MathWorks Japan アプリケーションエンジニアリング部大塚慶太郎 Kei.Otsuka@mathworks.co.jp 2018 The MathWorks, Inc. 1 自動運転 : 車 歩行者等の物体認識 白線検出 組み込み GPU への実装 モデル GPU 実装 / 配布 3 医用画像 : 腫瘍等 特定の部位の検出
Microsoft Research Redmond Microsoft Research Station Q Microsoft Research New York City Microsoft Research New Enghand Microsoft Research Cambridge A
Microsoft Research Redmond Microsoft Research Station Q Microsoft Research New York City Microsoft Research New Enghand Microsoft Research Cambridge Advanced Technohogy Labs Europe Advanced Technohogy
14 化学実験法 II( 吉村 ( 洋 mmol/l の半分だったから さんの測定値は くんの測定値の 4 倍の重みがあり 推定値 としては 0.68 mmol/l その標準偏差は mmol/l 程度ということになる 測定値を 特徴づけるパラメータ t を推定するこの手
14 化学実験法 II( 吉村 ( 洋 014.6.1. 最小 乗法のはなし 014.6.1. 内容 最小 乗法のはなし...1 最小 乗法の考え方...1 最小 乗法によるパラメータの決定... パラメータの信頼区間...3 重みの異なるデータの取扱い...4 相関係数 決定係数 ( 最小 乗法を語るもう一つの立場...5 実験条件の誤差の影響...5 問題...6 最小 乗法の考え方 飲料水中のカルシウム濃度を