2022年8月26日(金)・27日(土)に開催する「E資格2022#2」より、E資格のシラバス(試験範囲)が改定となります。本記事では改定内容及び改定に伴うE資格認定プログラム教材の変更について解説します。
追加教材紹介(Study-AI社[認定番号00011]/JDLA審査済)
前提として重要な事: 今回の改定で削除される教材はありません。追加のみ。
大分野 | 追加シラバス(教材) | 実装演習 | 追加背景/所感 | 追加箇所 |
音声認識・ 自然言語処理分野 |
Transformer | あり | 最新の言語処理技術をフレームワークを用いた実務的な実装演習で体験できます。 | day4 |
BERT | あり | day4 | ||
GPT-n | ー | day4 | ||
高速フーリエ変換 | ー | 音声技術の基礎原理にも踏み込んで学ぶことが出来ます。 | day4 | |
メル尺度 | ー | day4 | ||
CTC | ー | day4 | ||
メタ学習 | SiameseNet | ー | AI,機械学習の基礎研究分野に近い汎用分野です。AIとは本質的に何なのか数理的に、あるいはもっと上位の概念に踏み込んで学びます。 | day4 |
TripletLoss | ー | day4 | ||
MAML | ー | day4 | ||
GCN | ー | day4 | ||
可視化 | Grad-CAM | あり | 実際の社会実装に必要な項目として注目される、説明可能なAI(Explainable AI:XAI)の具体的な実装手法を学びます。 | day4 |
LIME | ー | day4 | ||
SHAP | ー | day4 | ||
その他 | MaskRーCNN | ー | 既存シラバスでもともと提供されている物体検知の応用手法です。 | day4 |
FCOS | ー | 既存シラバスでもともと提供されている物体検知の応用手法です。 | day4 | |
VQ-VAE | ー | 既存シラバスでもともと提供されているVAEの応用手法です。 | day3 | |
DCGAN | あり | 既存シラバスでもともと提供されているGANの応用手法です。派生GANの手法も紹介。 | day4 | |
A3C | ー | 既存シラバスでもともと提供されている強化学習の応用手法です。 | day4 | |
ResNet, WideResNet | あり | 深層学習モデルの1タイプが追加されました。 | day4 | |
EfficientNet | ー | 深層学習モデルの1タイプが追加されました。 | day4 | |
Docker | ー | 開発環境について項目が一つ追加されました。 | day4 | |
フレームワークによる実装 | 勾配のクリッピング | あり | フレームワーク演習のみ追加 | day3 |
Encoder-Decoder と Sequence-to-Sequence | あり | フレームワーク演習のみ追加 | day3 | |
双方向 RNN | あり | フレームワーク演習のみ追加 | day3 | |
バッチ正規化 | あり | フレームワーク演習のみ追加 | day3 | |
Layer正規化 | あり | フレームワーク演習のみ追加 | day3 | |
Instance正規化 | あり | フレームワーク演習のみ追加 | day3 | |
ドロップアウト | あり | フレームワーク演習のみ追加 | day2 | |
data_augmentation | あり | フレームワーク演習のみ追加 | day2 | |
L2パラメータ正則化 | あり | フレームワーク演習のみ追加 | day2 | |
L1正則化 | あり | フレームワーク演習のみ追加 | day2 | |
※実装演習は全てTensorFlow(Google社提供の無料フレームワーク)を採用。 ※既存の範囲では旧来通りフレームワークに拠らない実装で基礎の理解を図ります。 ※2022年3月時点の教材情報です。以降追加変更されることがあります。 |
全体的な3つの所感
- シラバス上で削除対象となった応用数学(線形代数など)や、機械学習の基礎分野、深層学習の基本的アルゴリズムについて教材に削除項目は0です。試験には出題されなくても、基礎であるため試験範囲や最低限の知識として省略しません。学習者の負担は大幅に増えたと思いますが、その分学べる内容も大幅に充実しました。
- フレームワークの実装が組み込まれたことが画期的です。基礎原理の理解には旧来通りフレームワークに拠らない実装でブラックボックス的な理解でなく本質的な理解を目指す方針を維持しつつも、ディープラーニングのモデルの実装の実務でフレームワークを使わない事はないからです。
- 実践的な配慮がされた一方で、GCNやMAMLといった基礎研究に近い分野も大幅に追加されました。現役のデータサイエンティストや機械学習従事者でも殆どの方が耳にしたことがない項目と思います。シラバス策定者の意図はヒアリングできておりませんし、誰もがこの領域を必要としないでしょうが、多くの方が関心を持つことで研究者や興味を持つ人材が生まれ、AIにおける諸外国への遅れを挽回する希望ももってお届けします。
JDLA(日本ディープラーニング協会)のシラバス改訂アナウンス
▼以下、2021年9月プレスリリースより引用▼
今回の改訂では、ディープラーニング技術の産業活用が拡大する中で、実務や様々な研究のベンチマークに用いられる手法を追加しております。画像認識・自然言語処理で広く用いられている手法はもちろん、音声認識分野もカバーしたものになっております。また、機械学習のモデルの説明性や距離学習といった分野に依らず重要な項目も追加しました。そして最大の変更点といたしまして、これまではフレームワークによらない実装のみを扱っておりましたが、本改訂ではPyTorchまたはTensorFlowを利用した実装も扱うことといたします。(※E資格を受験される際には、PyTorchまたはTensorFlowを受験者に選択いただきます。なお、E2022#2出題問題のフレームワーク前提バージョンは2022年2月にアナウンス予定です。)
前提フレームワーク
▼以下、2022年2月のJDLA公式ページのアナウンスより引用▼
E2022#2より、PyTorchまたはTensorFlowを利用した実装も扱います。
試験開始時、試験問題が表示される前にPyTorchまたはTensorFlowを受験者に選択いただきます。選択していないフレームワークの問題は見ることができません。また、フレームワーク選択後の変更も不可となりますので、ご注意ください。E2022#2
出題問題は下記のバージョンで動作確認を行ったものとなります。grad-cam==1.3.7 matplotlib==3.5.1 numpy==1.22.2 opencv-python==4.5.5.62 tensorflow==2.8.0 tf-explain==0.3.1 torch==1.10.2 torchinfo==1.6.3 torchvision==0.11.3
※尚、Study-AI社のE資格認定プログラムではTensorFlow(Google提供)を採用しています。
E資格の試験出題範囲(シラバス2022第1.1 版/jdla公式)
▼以下、2022年2月のJDLA公式資料(E資格の試験出題範囲(シラバス)E2022#2)より▼
改訂版シラバス(第1.1 版 2021年 10月 11日)
1.応用数学 | (1)確率・統計 | ①一般的な確率分布 ベルヌーイ分布 多項分布 ガウス分布 |
②ベイズ則 | ||
(2)情報理論 | ①情報理論 情報量 |
|
2.機械学習 |
(1)機械学習の基礎 |
①学習アルゴリズム 教師あり学習 教師なし学習 半教師あり学習 転移学習 |
②機械学習課題 能力、過剰適合、過少適合 次元の呪い |
||
③ハイパーパラメータ | ||
④検証集合 学習データ、検証データ、テストデータ ホールドアウト法 k-分割交差検証法 |
||
(2)実用的な方法論 |
①性能指標 | |
②ハイパーパラメータの選択 手動でのハイパーパラメータ調整 グリッドサーチ ランダムサーチ モデルに基づくハイパーパラメータの最適化 |
||
(3)強化学習 |
①方策勾配法 | |
②価値反復法 | ||
3.深層学習 |
(1)順伝播型ネットワーク |
①全結合型ニューラルネットワーク |
②損失関数 最尤推定による条件付き分布の学習 |
||
③活性化関数 シグモイド関数 Softmax関数 ReLU, Leaky ReLU tanh |
||
④誤差逆伝播法およびその他の微分アルゴリズム 計算グラフ 微積分の連鎖率 誤差逆伝播のための連鎖律の再起的な適用 シンボル間の微分 一般的な誤差逆伝播法 |
||
(2)深層モデルのための正則化 |
①パラメータノルムペナルティー L2パラメータ正則化 L1正則化 |
|
②データ集合の拡張 Rnadom Flip・Erase・Crop・Contrast・Brightness・Rotate, MixUp |
||
③ノイズに対する頑健性 出力目標へのノイズ注入 | ||
④マルチタスク学習 | ||
⑤早期終了 | ||
⑥スパース表現 | ||
⑦バギングやその他のアンサンブル手法 | ||
⑧ドロップアウト | ||
(3)深層モデルのための最適化 |
①学習と純粋な最適化の差異 バッチアルゴリズムとミニバッチアルゴリズム |
|
②基本的なアルゴリズム 確率的勾配降下法 モメンタム |
||
③パラメータの初期化戦略 | ||
④適応的な学習率を持つアルゴリズム AdaGrad RMSrop Adam |
||
⑤最適化戦略とメタアルゴリズム バッチ正規化 Layer正規化 Instance正規化 教師あり事前学習 |
||
(4)畳み込みネットワーク |
①畳み込み処理 | |
②プーリング | ||
(5)回帰結合型ニューラルネットワークと再帰的ネットワーク |
①回帰結合型のニューラルネットワーク | |
②双方向 RNN | ||
③Encoder-Decoder と Sequence-to-Sequence | ||
④長期依存性の課題 | ||
⑤ゲート付きRNN LSTM GRU |
||
⑥長期依存性の最適化 勾配のクリッピング |
||
⑦Attention | ||
(6)生成モデル |
①識別モデルと生成モデル | |
②オートエンコーダ VAE VQ-VAE |
||
③GAN DCGAN Conditionnal GAN |
||
(7)深層強化学習 | ①深層強化学習のモデル AlphaGo A3C |
|
(8)グラフニューラルネットワーク | ①グラフ畳み込み | |
(9)深層学習の適用方法 |
①画像認識 GoogLeNet ResNet, WideResNet DenseNet EfficientNet |
|
②画像の局在化・検知・セグメンテーション FasterR-CNN YOLO SSD MaskRーCNN FCOS |
||
③自然言語処理 WordEmbedding Transformer BERT GPT-n |
||
④音声処理 WaveNet サンプリング、短時間フーリエ変換、メル尺度 CTC |
||
⑤スタイル変換 pix2pix |
||
(10)距離学習(Metric Learning) |
①2サンプルによる比較 SiameseNet |
|
②3サンプルによる比較 TripletLoss |
||
(11)メタ学習(Meta Learning) | ①初期値の獲得 MAML |
|
(12)深層学習の説明性 |
①判断根拠の可視化 Grad-CAM |
|
②モデルの近似 LIME SHAP |
||
4.開発・運用環境 |
(1)ミドルウェア | ①深層学習ライブラリ |
(2)エッジコンピューティング |
①軽量なモデル MobileNet |
|
②モデルの軽量化 プルーニング 蒸留 量子化 |
||
(3)分散処理 |
①モデル並列 | |
②データ並列 | ||
(4)アクセラレータ | ①デバイスによる高速化 GPU |
|
(5)環境構築 | ①コンテナ型仮想化 Docker |
シラバス改訂に伴い、Eシラバス2020より以下内容を削除(2021年9月17日)
◆:中項目 ◇:小項目
【応用数学】
◆線形代数 ◇特異値分解
【機械学習】
◆機械学習の基礎 ◇教師あり学習アルゴリズム ◇教師なし学習アルゴリズム ◇確率的勾配降下法
【深層学習】
◆順伝播型ネットワーク ◇アーキテクチャの設計 ◇誤差逆伝搬法およびその他の微分アルゴリズム ※以下のみ ・全結合 MLP での誤差逆伝搬法
◆深層モデルのための最適化 ◇基本的なアルゴリズム ※以下のみ ・ネステロフのモメンタム
◆畳み込みネットワーク ◇構造出力 ◇データの種類 ◇効率的な畳み込みアルゴリズム
◆回帰結合型ニューラルネットワークと再帰的ネットワーク ◇回帰結合型のニューラルネットワーク ※以下のみ ・教師強制と出力回帰のあるネットワーク ・有向グラフィカルモデルとしての回帰結合型のネットワーク ・RNNを使った文脈で条件付けされた系列モデリング ◇深層回帰結合型のネットワーク ◇再帰型ニューラルネットワーク ◇複数時間スケールのための Leaky ユニットとその他の手法 ※以下のみ ・時間方向にスキップ接続を追加 ・接続の削除
◆深層学習の適応方法 ◇画像認識 ・VGG
シラバス改訂に伴い、以下内容を追加 (2021年9月17日)
深層学習
(6)生成モデル ②オートエンコーダ ・VQ-VAE
(7)深層強化学習 ①深層強化学習のモデル ・A3C
(8)グラフニューラルネットワーク
(9)深層学習の適用方法 ①画像認識 ・ResNet, WideResNet ・EfficientNet ②画像の局在化・検知・セグメンテーション ・MaskRーCNN ・FCOS ③自然言語処理 ・BERT ・GPT-n ④音声処理 ・高速フーリエ変換 ・メル尺度 ・CTC
(10)距離学習(Metric Learning)
(11)メタ学習(Meta Learning)
(12)深層学習の説明性4.開発・運用環境 (5)環境構築 ①コンテナ型仮想化その他、項目の再編成および一部名称に修正を実施(内容変更なし)
シラバス改定に伴い、以下内容を削除(2021年10月11日)
3.深層学習 (9)深層学習の適用方法 ④音声処理 ・高速フーリエ変換以下の通り修正3.深層学習 (9)深層学習の適用方法 ④音声処理 ・メル尺度 ⇒ ・サンプリング、短時間フーリエ変換、メル尺度