WiFiの現状

Transcription

1 V /10/23 はじめての AI 用パソコン Tensorflow 学習編 (ubuntu 版 ) 抜粋版 スペクトラム テクノロジー株式会社 sales@spectrum-tech.co.jp all rights reserved 2019 spectrum technology co. 1

2 目次 ubuntu 運用マニュアル 公式サイト : 日本語サイト : ページ 1. Ubuntuについて 3 2. 基本コマンド 3 3. 基本操作 5 4. 日常運用 9 5. ソフト一覧 12 Tensorflow 学習プログラム 1 Tensorflow 概要 13 2 Tensorflow 操作方法 14 3 Tensorboard( プログラムの可視化 ) 16 scalar, graph, image, embedded(3d), histogram 4 Jupyter notebook( 機械学習 ) 基本分類 テキスト分類 回帰 Deep learning の代表的な方法 線形回帰 27 ロジスティック回帰 28 DNN(Deep Neural network: ディープニューラルネットワーク ) 29 CNN(Convolutional Neural Network: 畳み込みニューラルネットワーク ) 30 RNN(Recurrent Neural Network: 再帰型ニューラルネットワーク ) 32 応用例 文字認識 :MNIST 33 画像認識 :CIFAR クラス分類 :iris 40 自然言語処理 :word2vec 41 言語認識 :seq2seq 42 ページ 抜粋版 ページと内容は抜粋版のため異なります all rights reserved 2019 spectrum technology co. 2

3 ubuntu 運用マニュアル 1. Ubuntuについて Ubuntu( ウブントゥ ) とは コミュニティにより開発されているオペレーティングシステムです ラップトップ デスクトップ そしてサーバーに利用することができます Ubuntuには 家庭 学校 職場で必要とされるワープロやメールソフトから サーバーソフトウェアやプログラミングツールまで あらゆるソフトウェアが含まれています Linuxの中でも一番使用されています 2. Linux 基本コマンド 1 システム関係 起動 : 電源を入れると自動で起動します 再起動 :# reboot 又は menu>shutdown>reboot; 左上のメニューから 終了 : # shutdown 又は menu>shutdown>shutdown; 左上のメニューから ログアウト # exit 又は menu>shutdown>logout; 左上のメニューから 日本語 / 英語の入力切替 : 半角 / 全角キー ( 数字の 1 の横 ) 英数と文字の切替は capital lock(a の横 ) all rights reserved 2019 spectrum technology co. 3

4 ubuntu 運用マニュアル 2. Linux 基本コマンド 2 ディレクトリ操作 コピー 移動 削除 masa@ubuntu:~$ cd /home/masa/documents ディレクトリの切り替え masa@ubuntu:/home/masa/documents$ ls ファイルとディレクトリの表示 ( 表示したら操作したいファイルを右クリックでコピペして操作します root@ubuntu:~# cp ファイル名ディレクトリ配下のディレクトリのファイルを別のディレクトリへコピー root@ubuntu:~# mv ファイル名ディレクトリ配下のディレクトリのファイルを別のディレクトリへ移動 root@ubuntu:~# rm ファイル名ファイルの削除便利な機能 rm help コマンドのオプションが分からない場合は ヘルプで問い合わせる すべてのコマンド共通 ( マイナスを2 個とhelp) 3 ユーザ権限 プロセス他 masa@ubuntu:~ $ su - スーパーユーザ (root) に切り替え パスワードを入力 root@ubuntu:~# ps a 現状の動いているプロセスを表示 root@ubuntu:~# kill 特定のプロセスを強制終了 root@ubuntu:~# apt-get install pkg パッケージのインストールなどに使用 $ で使用する場合は sudoを付与 root@ubuntu:~# date 日付 時間の設定を行います root@ubuntu:~# leafpad /etc/network/interfaces すいです インタフェースに記述してい内容を変更します Viよりも使いや 4 モジュール usb メモリ HDD などの表示 root@ubuntu:~# lsmod root@ubuntu:~# lsusb root@ubuntu:~# free mt root@ubuntu:~# df -h root@ubuntu:~# ifconfig linuxのモジュールリスト表示 usbのデバイス表示メモリ使用状態表示 SSDの使用状態表示 ipアドレスを確認します 基本は masa@ubuntu:~$ で使用してください all rights reserved 2019 spectrum technology co. 4

5 ubuntu 運用マニュアル 3. 基本操作 1 起動 ( 電源 ON) GNU GRUB 画面が立ち上がり Ubuntu,windows10 の選択画面がでます Ubuntu を選択 all rights reserved 2019 spectrum technology co. 5

6 ubuntu 運用マニュアル 3. 基本操作 2 ログオン ユーザを選択して パスワードを入力 all rights reserved 2019 spectrum technology co. 6

7 ubuntu 運用マニュアル 3. 基本操作 3 表示画面と内容 トップ画面 ( 左側のアクティビティバー ) ブラウザ メール ファイルマネジャ カメラ アプリ ヘルプ コマンド システムモニタ トップバー ( 上側 ) アクティビティ 時計 システムモニタ LAN スピーカ 電源 all rights reserved 2019 spectrum technology co. 7

8 ubuntu 運用マニュアル 3. 基本操作 4 パスワード変更 $ sudo passwd masa パスワードを変更してください $ sudo passwd root root のパスワードも同様に設定 all rights reserved 2019 spectrum technology co. 8

9 ubuntu 運用マニュアル 4. 日常運用 1 セキュリティ対策 ( アンチウイルス更新 スキャン ) アンチウイルス対策として無料の clamav をインストールしてます 手動での運用を基本としてます パターンファイル更新手動スキャン時に更新されます手動でスキャン $ sudo clamscan --infected --remove --recursive 自動化可能ですが バックグランドで重くなる可能性大 コマンド入力後約 10 分位かかります all rights resrved 2019 spectrum technology co. 9

10 ubuntu 運用マニュアル 4. 日常運用 2 インストール済パッケージの更新リスト アップグレード Linux の場合は 頻繁に更新が発生します アップグレードを定期的に実施してください 更新前には バックアップを取ることをお勧めします 特にアップグレードはまれに動作不良 戻せない状態が発生します 自己責任で実施してください 更新リスト取得 $ sudo apt-get update アップグレード実施 $ sudo apt-get upgrade all rights reserved 2019 spectrum technology co. 10

11 ubuntu 運用マニュアル 4. 日常運用 3 Samba Windowsとネットワークを共有し ファイルの共有を可能とします 非常に便利です 既に設定済です 出ない場合は IP アドレスを入力してください xx windowspc のネットワークを確認します 1 UBUNTU とネットワークに表示されます 2 ダブクリックすると share が出ます 3 ubuntu 上は home>masa>share にフォルダがあります ifconfig で ip アドレスを確認 all rights reserved 2019 spectrum technology co. 11

12 ubuntu 運用マニュアル 5. ソフトウエア一覧 区分 ソフト名 バージョン 備考 OS ubuntu LTS GPU 用 cudnn 7.6.+cuda10. Nvidia 用 画像 Opencv 3.4. プログラム言語 python python AI 用プログラム tensorflow Google chainer Preferred Network caffe berkeley サンプルプログラム Mnist,cifar10 など 使用 AI 言語により比較が可能 その他 Jupyter notebook matplotlib など多数の pip ライブラリ Samba,clamav などの基本アプリ all rights reserved 2019 spectrum technology co.

13 Tensorflow 学習プログラム 1.Tensorflow 概要 Tensorflowとは TensorFlowは Googleが開発したディープラーニングのオープン ソース ソフトウエアで2015 年 11 月に公開されました 特徴は 分散型 GPUで動作し プログラム言語は Pythonで動作します プラットフォームはLinuxからWindowsまでマルチ環境をサポート 用途は 画像認識 文字認識 自然言語処理など多岐にわたります 比較表 ディープラーニング ソフト 開発元 プログラム言語 分散対応対応 OS GPU 対応 Tensorflow Google Python, c++ 〇 Linux, mac, windows Chainer Preferred network( 日本 ) python? linux 〇 Caffe Berkeleyvision C++? Linux, mac, windows 〇 〇 Theano モントリオール大学 python? Linux, mac, windows all rights reserved 2019 spectrum technology co. 13 〇

14 Tensorflow 学習プログラム 2.Tensorflow 操作方法 Tensorflow を使うためには python の知識が必要です 配列についての知識が必要です Tensorflow モジュール import tensorflow as tf python 用のモジュールが準備されています 詳細はこちらのリンクで なお モジュールも常に更新されているため 過去のプログラムが動かない場合があります 安定版を利用ください Tensorflow インストール all rights reserved 2019 spectrum technology co. 14

15 Tensorflow 学習プログラム 2.Tensorflow 操作方法 Tensorflow プログラムディレクトリ $ cd home/masa/documents/tensorflow/study all rights reserved 2019 spectrum technology co. 15

16 Tensorflow 学習プログラム 3.Tensorboard( プログラムの可視化 ) Tensorflow のひとつの特徴としてプログラムを可視化できる Tensorboard が準備されています データフロー 誤差 精度などがグラフで表示され非常に分かりやすい Tensorboard はグーグルの chrome で動作します ローカルホストにアクセスすると表示されます pyhton 実行後にアクセスしてください Graph 例 四則演算 :1_const.py データフロー図が可視化 ( 右図 ) node3 = tf.add(node1, node2) の例 python3 1_const.py tensorboard --logdir=data1 tensorboard --logdir=data1 でコマンド入力後 へ chrome からアクセス Graph タグで表示 CTL-C でグラフは終了します 全て python3 で実施してください 出典 : all rights reserved 2019 spectrum technology co. 16

17 Tensorflow 学習プログラム 4.Jupyter notebook( 機械学習基本 ) 基本分類 上記の URL にのっとり Jupyter notebook で学習 $ cd /home/masa/documents/notebooks $ jupyter notebook 自動起動 (chrome) 出典 :TensorFlow 機械学習の実践 all rights reserved 2019 spectrum technology co. 17

18 Tensorflow 学習プログラム 5.Deep learning の代表的な方法 線形回帰 :11_linear_reg.py モデル :y = tf.matmul(x,a) y=x*a 誤差関数 (loss): 平均二乗誤差 (y_-y)^2の誤差が小さくなる y_: 出力 y: シュミレーション値 最適化 : 最急降下法 可視化 :tensorboard --logdir=data11 確認できます all rights reserved 2019 spectrum technology co. 18

19 Tensorflow 学習プログラム 5.Deep learning の代表的な方法 Cd home/masa/documents/tensorflow/study/cifar10 Convolutional neural network:cifar10_train.py cifar10 は画像認識のベンチマークテスト用に準備された 10 分類の 6 万枚 airplane, automobile, bird, cat, deer, dog, frog, horse, ship, and truck. モデル : convolutional neural network 誤差関数 (loss): クロスエントロピー 最適化 : 最急降下法 可視化 :tensorboard --logdir=cifar10_train かかります 本来は 10 万回 cifar-10 使用 cnn 出典 :Convolutional Neural Networks by tensorflow 確認できます 1 万回で約 5 分 CPU の 300 倍速 all rights reserved 2019 spectrum technology co. 19

20 Tensorflow 学習プログラム 5.Deep learning の代表的な方法 Convolutional neural network:/cifar10/cifar10_train.py 各種グラフ : データフロー 分散 ヒストグラム all rights reserved 2019 spectrum technology co. 20

21 Tensorflow 学習プログラム 6. 応用例 文字認識 ;MNIST A) mnist.py: 基本形 mnist のテストデータの 0-19 番目 (20 個分 ) までの画像とラベルを表示 行までのプログラム : 不要の場合はコメントアウトしてください テストデータの元のものと学習して予測したデータで正答率を算出 15 個のデータで 3 個の間違い Accuracy (for test data): 0.79 True Label: [ ] Est Label: [ ] all rights reserved 2019 spectrum technology co. 21

22 Tensorflow 学習プログラム 6. 応用例 クラス分類 :iris/iris.py iris の 3 種類 (setosa versicolor virginica) で花弁などの幅と大きさから新種の 2 種類がどれに属するのかを推定する A) iris.py: 学習データ :120 件 試験データ :30 件 DNNモデル tensorboard --logdir=iris_model 正解率 :96% 2000 回 出典 :tf.contrib.learn Quickstart by tensorflow _training_walkthrough?hl=ja all rights reserved 2019 spectrum technology co. 22