2024年5月13日にAlteryx Designer Predictive Masterに合格しました。Predictive MasterはいわゆるExpertクラスの試験ということでAlteryxの資格の中でもExpertと並ぶ高難易度の資格です。
高難易度かつ有料の試験ということもあるのか、資格保有者は2024年5月時点で18名のみとなります（Inspire前は17名だったので実質1名しか増えていませんが、LinkedInで見ている限り合格した人は私含めて最低2名はいらっしゃるので、以前Inspireで合格して更新しなかった方がいらっしゃるのかもしれません）。
Inspireでは無料で受験することができるので、Inspireに行く方はぜひ力試しを兼ねて受験して頂ければと思います。なお、2023年のInspireが初回、オンラインで1回、そして2024年のInspireで3回目のチャレンジでの合格となります。
Inspireで受験するには
Expert試験の感想の方でオンライン試験について言及しましたが、Inspireで受験する場合については言及していないので今回はそのあたりをご紹介したいと思います。
2023年、2024年はいずれもInspireで無料で受験することができました（Expert/PredictiveMaster両方ともです）。一応セッションとしてはトレーニングに位置づけられてはいますが、トレーニングパスを購入していなくても受験可能です。
これらの試験を受験するためには、Inspireのセッションカタログで出席登録を行う必要があります。出席登録を行っておくと、Inspire開催の１週間前くらいにメールが飛んできます（締切がいつなのかよくわからないので早めの登録が吉です）。そのメールには受験の仕方が書いてあるのでよく読んでおきましょう。オンラインで一度受験したことがあるかたはTrueAbilityの使い方をご存知だと思うので問題ないのですが、受験を一度もしたことがない方はTrueAbilityの使い方を覚えておく必要があります。これはオンラインでも現地での試験でも同様です（詳細はExpert試験の感想に記載しているのでそちらを御覧ください）。
当日、所定の部屋に行くと、中に受付の方がいるのでそこで本人確認を行います（InspireのバッジのQRコードをピッとされます）。ちなみに、ExpertもPredictive Masterも同じ会場です（登録は別ですが、同じ部屋で行われます）。あとは自由に着席してパソコンの準備をしましょう。基本的にパソコンは持ち込みとなり、ルールはオンライン試験の場合と同様です（つまりモニタは本体内蔵の１枚のみです。ここに外付けモニタを持ち込む剛の者はさすがにいないかと思います）。準備は粛々と始めてください。特に会場にいる受付の方が音頭を取って開始してください、みたいなことはしないので、TrueAbilityのサイトにログインして開始できるのを待つだけです。オンライン試験で行われるガイダンス的なものもないのでさくっと試験に取りかかれると思います（開始許可の処理はおそらく会場にいる受付の方が行っているように思います）。
オンライン試験だとだるいガイダンスもなく快適に受けることができますが、一方で大きいモニタなどを使うことができないのが少しネックになるかもしれません。とはいえ、海外のカンファレンスに巨大なPCを持ち込みたくもないので悩ましいところです。
なお、終わったら好きに退出することが可能です。記念受験的に受験しても３時間ずっと部屋にいないといけない、ということもありません。
試験概要
PDFの内容の「Exam Overview」を抜粋します。
受験資格：Alteryx Designer Advanced
経験レベル：Expert
受験費用：$150 USD（1ドル130円なら日本円で19,500円。約2万円ですね！）
登録方法：User and Registration Guide参照
試験時間：３時間（オンラインの場合、仮想環境の立ち上げと監督官のやり取りで最低３０分は余裕を持つ必要があります。会議室など抑えるなら＋１時間ほど余裕を見て抑えたほうが良さそうです）
対象バージョン：Alteryx Designer 2020.4（2024年5月時点）
試行間隔：最初と２回目の挑戦は２ヶ月の間隔が必要。それ以降は３ヶ月の間隔が必要
試験方法：監督者ありオンライン試験（Inspireでも受験可能、その場合は監督者ありオフライン試験）。パフォーマンスベース。
問題数：１９問
問題タイプ：実用化シナリオ、多肢選択式、自由回答形式
合格基準：115ポイント（トータル175ポイント） （合格基準としては正答約６５％）
ポイントについて：それぞれのシナリオと問題で付与ポイントは異なります
使用可能リソース：オープンブック形式。試験中に許可されていないリソース以外を利用可能です。Alteryx Community、Help Documentation、一般に公開されたウェブサイトの情報、Designer内のサンプルワークフロー等。
使用不可能なリソース：自身のリファレンスとなるワークフロー、ノート（メモ）、一般に公開されていないリソース。Alteryx Communityを除いたログイン必要なウェブサイト。
有効期限：２年間。Masterレベルの試験（Expert含む）に合格した場合、延長されます。
出題形式について
出題の形式は、ExpertとAdvancedまでの試験の組み合わせのようになっています。
大問６問ある中で、各大問にはそれぞれ最初のメインとなる問題があります。これは予測結果などをファイルとして指定の場所に保存するという形式でExpertと同様の形式です。メインの問題の続きで小問がいくつかあり、これは仮想環境のPCのWEBの画面で多肢選択式もしくは自由記述で回答するようになっています。いずれもメインの問題の続きの内容で、実際にワークフローをそのまま組んでいって結論を出しそれをWEB画面の方で入力するまたは選択する、という形になります。
出題範囲について
「Alteryx Predictive Masterの試験内容を紐解く」に詳細記載しているのでそちらをご覧ください。
認定試験で問われるのは、以下のツールパレット内のツールとなります。
- データ調査（Data Investigation）
- 予測（Predictive）
- 時系列（Time Series）
- 予測グルーピング（Predictie Grouping）
- 処方的分析（Prescriptive）
この中でも実際に対象となるのはPrepGuideによると以下のツールと考えられます。
データ調査（Data Investigation）
- アソシエーション分析
- 基本データプロファイル
- 分割表
- 分布分析
- フィールドサマリー
- 度数分布表
- ヒートプロット
- ヒストグラム
- ピアソン相関
- 平均プロット
- 散布図
- スピアマン相関
- バイオリンプロット
予測（Predictive）
- 勾配ブースティング
- ポアソン回帰
- 決定木
- ランダムフォレスト
- ガンマ回帰
- リフトチャート
- 線形回帰
- ロジスティック回帰
- モデル比較
- 単純ベイズ分類器
- F検定
- ニューラルネットワーク
- スコアリング
- スプラインモデル
- ステップワイズ
- SVM
- ｔ検定
時系列（Time Series）
- ARIMA
- 指数平滑法（ETS）
- 時系列比較
- 時系列共変量予測
- 時系列フィル
- 時系列予測
- 時系列プロット
予測グルーピング（Predictie Grouping）
- クラスター付加
- K重心クラスター分析
- K重心診断
- 主成分分析
処方的分析（Prescriptive）
- 最適化ツール
※最近傍探索、MB、シミュレーションXXなどはPrepGuideにも触れられていないため除外と考えています
受験上のヒント
どれを解くか戦略
３時間で大問６問から６５％を取る必要があります（175ポイント中115ポイントで約65%となります）。実際のところは、おそらく分類２問、回帰が大きい１問、クラスタリング１問、時系列１問、最適化１問という形式ですが、実質回帰が２問分ありますが、全体でいうと落とせるのは２問分です。
例えば、回帰が取れなければ残りはすべて取る必要があります。回帰が取れた場合は、その他のところで２問まで落としても良い、ということになります。解く速度に自信がない場合は、すっぱり２問諦めて残りに集中するという選択もありかもしれません。いずれにしても難易度が低めの分類の１問目、クラスタリング、時系列、最適化あたりは確実に取りたいところです。
６問の大問の中身はメインの予測問題と、残りの数問の小問に分かれます。小問の配点は小さいですが、メインの問題を進めていった延長線上にある多肢選択式の問題だったり数値を入力する問題なので確実に取りましょう。小問を取るにはしっかり機械学習のことを理解しておく必要があります。150ドルもする試験なので一発で合格したいところですが、やはり問題の傾向は一度受けて確認しておいた方が学習もスムーズかと思います。
速度向上Tips
Rツールは基本的に速度が遅めです。スコアリングツールに接続するだけでも少し待たされますし、各機械学習モデルの予測はそれなりに時間が取られます。何度も試行錯誤で学習させるとかなりの時間のロスになるので、各機械学習のモデルはyxdb形式で保存しておき、右クリックでデータ入力ツールに切り替えるとスムーズにその先に進むことができます。この時、機械学習のモデルはコンテナツールでオフにしておきましょう。とはいえ、あまり神経質になっても意味がないので落ち着いて進めましょう。
また、各モデルのレポートはほぼ必須で見れるようにすべきですので、閲覧ツールを接続しておきましょう。
また、ワークフローはこまめに保存しておくことを進めます（何回かDesignerが落ちた記憶が・・・）。
学習方法について
Prep Guideにはしっかりと学習用のコンテンツが紹介されています。まずはそちらを抑えましょう。また私のブログ「Alteryx Predictive Masterの試験内容を紐解く」で紐解きを行っております。
Expertはスピードが求められるため各カテゴリが一通りスムーズにできることが目標になりましたが、Predictive Masterは予測分析が一通りある程度深いレベルでできる必要があります。各カテゴリのすべてのツールをよく理解しておく必要があります。少なくとも「データ調査」「予測」「時系列」「予測グルーピング」「処方的分析」カテゴリのツールは一通り理解してください（一部対象外のツールもあります）。
機械学習モデルの細かいハイパーパラメータについての理解はそれほど必要ではありませんが、モデルの作成からモデルの比較、予測まではスムーズにできるようにしておきましょう。さらに、結果が何を意味するかを抑えておく必要があります。Kaggleのデータを使っていくつか自分なりに予測を行ってみるのが良いと思います。
途中調べながらやっていると時間が足りません。設問に対してすぐにどのツールを使えば答えにたどり着けるか、幅広く理解しておきましょう（私は問題を読んでからどのツールを使えば良いかあたりはすぐつけることができるくらいの習熟度にはなっていますが結構時間としてはギリギリです）。
Predictive Masterになると演習問題自体が少ないので自力でなんとかする必要があります。Designer付属のサンプルワークフローの理解から始め、Weekly Challengeの予測・時系列予測はスムーズに解けるようにしておきましょう。その上でKaggleのデータセットを用いてPlaygroundやTutorialのコンペなどを解いて学習するのが良いと思います。
Weekly Challenge（日本語・英語）
Predictive Master試験では既存のWeekly Challengeではもはやほとんどカバーできないですが、最適化ツールについては通用する内容なので解けるようにしておきましょう。また、当然回帰、分類、時系列など簡単に解ける必要があるのでまずはそこを達成できるようにしておきましょう。
ほぼExpert試験と同様ですが、リンクを張っておきたいと思います（元はExpertのPrepGuideからのものですがさらに追加しておきました）。
分類
- チャレンジ #53: Alteryx Designer Expert 認定試験の問題（英語版：Challenge #157: An Expert Challenge）
- チャレンジ #231: Inspire 2023 グランプリ (ラウンド 3)（英語版：Challenge #380: Inspire 2023 Grand Prix (Round 3)）
時系列予測
- チャレンジ #18: 2019 グランプリ US – Heat１（英語版：Challenge #170: 2019 Grand Prix US – Heat 1）
- Challenge #24: ARIMA Time Series（古すぎて日本語版がありません）
- Challenge #132: When Will Community Hit 1,000,000 Posts?（古すぎて日本語版がありません）
最適化
- チャレンジ #62: フラワーアレンジメントの最適化（英語版：Challenge #213: Optimized Flower Arrangements）
- Challenge #424: Optimize the Energy of Your Playlist
アドバイス的なもの・私の経験
私は３回目のチャレンジでようやく合格にたどり着けました。１回目はInspire2023でしたが、一通り回答できたのでそれなりに自信があったのですが、いまいち細かいところを見落としていたのかおそらく２問完答くらいの正解率でした。正直このときはどこを学習したらいいのかわからないという感じでかなり戸惑いました。２回目はExpertの更新も兼ねてチャレンジしたのですがやはり不合格。救いは１回目より結果がよくなっていたことでしょうか。ここで何が足りないか若干認識できた部分がありました。２回目でわかっていなかった部分をフォローアップし、３回目はInspire2024で再挑戦しなんとか無事合格という形になりました（とはいってもそこそこギリギリのスコアでした）。
私の得意な問題が後半からなので、いつも最適化→クラスタリング→時系列→分類ｘ２問→回帰という順番で解いています。本当は頭から解いた方がやりやすいのですが、得意なところからやった方が気分的に楽なのと、確実に取っていきたい、ということで得意なところから進めていく戦略を取っています。
Expertと比べると、基本的に全部予測系の問題なので、Expertで避けていた部分ばかりということで威圧的な試験ではありますが、問題を解いているときは楽しく解いている感じです。
Predictive Masterの学習は一通り公式のコンテンツをあたりましたが、基本的に手を動かすところが少ないのでサンプルのワークフローをよく理解するといったことを行いました。サンプルのワークフローも少しミスリーディング的なところがあるので、KaggleやScikit-learnのサンプルデータなどを使って自分なりに適用して学習を進めました。Scikit-learnのデータはきれいに整形されているのでまずツールの動きを習得するには良いと思いますが、きれいすぎるデータなので例えばインピュテーションツールなどのデータ準備ができません。そのあたりはKaggleのデータを使ってデータ調査、データ準備なども含めて試すのが良いと思います。
データの解釈の部分は公式のHelpでもあまり書かれていないので、インターネットの海を彷徨い調べました。その調べた結果は本ブログにまとめているので参考にしていただければと思います。
正直各モデルのハイパーパラメータ的なところはそれほど気にしていなかったのですが、時系列予測はしっかりカスタムモデルについても知っておく必要があります。ツール数は少ないですが思った以上に深いです。
有効期限は二年間ということなので、2026年5月に更新が必要となりますが、Expertに合格してもこちらの試験は更新可能です。正直Expert試験の方が得意なので更新時はそっちを受けようかなぁ、とちょっと思っていたりします（Inspireの時期によっては取得後一年を経過しないことになるので次回Inspireでは受けられない可能性もありますし、次回のInspireに行けるとも限らないですが・・・）。
コメント