社外のコミュニティ活動として、2017年からテスト設計コンテストU-30クラスの創設とその審査員長を続けていたのですが、立候補あり今年度から大段さんに引き継ぐことになりました。良いタイミングなので、今回振り返りながら、自分の審査委員活動の総括をできればと考えています。
テスト設計コンテストとは
テスト設計コンテスト（テスコン）は、文字通りテスト設計の良否を競うコンテストです。
https://www.aster.or.jp/business/contest.html
テスコンは、指定の仕様書に対してテスト設計を行い、それを審査基準に従って点数化して順位を競います。（1回だけ中止がありましたが）2011年から毎年開催してきました。現在はNPOのソフトウェアテスト技術振興協会の活動として、有志の運営委員、実行委員の手で運営されています。
自分がファウンダー＆審査委員長をやっていたのは、このコンテストの一部として、途中から派生したテスト設計コンテストU-30クラスという部門です。こちらも形式は派生元（U-30クラスと区別するために、Openクラスと呼ぶようになりました）と大まかに同じですが、30歳以下という年齢制限を追加で加えています。
以下、このU-30クラスのコンテストについての自分の審査委員長としての活動を時系列で振り返っていきます。
U-30クラス創設のきっかけ
U-30クラスの創設は、テスコンをはじめ、ソフトウェアテストのコミュニティを下支えしていた吉澤さんから声をかけられたのがきっかけでした。
そこで求められたのが、主にテスコンの参入障壁を下げて、若手や初学者にもテスト技術の啓蒙やテスト設計の楽しさを広げたい、という要求です。
というのも、当時のテスコンは成果物の品質と規模が急激に高まり、参入障壁が一気に上がっていった時期でした。
その背景としては、何回かの開催を通してテスト設計方法論を使いこなすチームが増え、成果物の品質が一気に上がっていった要因がありました。またテスコンの人気により、予選として各地域で絞り込みをしないと本戦の審査ができないほどチームが増え、競争率が高まっていた背景もありました。
この傾向はテスト技術の普及・発展の点で良い事なのですが、反面、テストの初学者や若手が安易に参加しにくい参入障壁が生まれていました。そこで年齢を若手に限定するクラスを設けることで、若手や駆け出しにもテスコンに参加いただき、テスコンによるテスト技術の普及・発展を促進しようという話が生まれました。
U-30クラス審査委員チームの構築
創設にあたっては、まず審査委員チームの構築に着手しました。
そこでは審査委員を、当時のテストコミュニティで精力的に活動していた方の中から、テスト設計コンテストの出場経験のある方、高いテスト設計技術を持った方を選び、個人的にお声がけしていきました。当時の自分はWACATEというテスト技術の勉強会合宿を中心にテストの人脈を広げていた影響で、結果的にWACATE関係者がチームの主体となりました（WACATEは若手の成長を意識したイベントのため、その関係者が母体となったことにより、後述する教育特化志向につながりました）。
そこに他の方がお声がけして推薦いただいた蛭田さんを加え、テスト設計コンテストU-30クラスの審査委員チームが完成しました。
初年度のコンテスト活動の開催
U-30クラスの始動にあたっては、思いや理念あるNPO活動ということで、ミッションやビジョンを審査委員間で共有して、それに沿ってU-30クラスを形作っていこうと考えました。
具体的には、審査委員メンバーで、創設のきっかけとなったテスコンの実行委員・審査委員の想いを具体化しながら、次の目的を設定しました。
- テスコンに若い人を参加しやすくする/テスコンのすそ野を広げる
- テスト設計の大切さに気付いてもらう
- テスト設計の面白さ、他人のテスト設計と比較する面白さを体験してもらう
- 本人の次のステップアップに役立てる/新人・中堅社員教育を支援する/仲間を増やす
- 新しいテスト設計(観点・技法・方法論)を開発する
次にコンテストの建付けを具体化してきました。
初年度は、参加者の方々に本家のテスコン：Openクラスのこれまでの蓄積（チュートリアル資料、参加チームの成果物等々）を参考にして学んでいただこうという考えで、審査基準やルールはOpenクラスをそのまま踏襲しました。またテストベースについても、スタンドアロンの組み込み製品で規模が小さい、Openクラスで何年も使われていて資産が蓄積しているという理由で、SESSAMEの話題沸騰ポットを採用させていただきました。
一方、それとは別に、初学者でも方向性が考えやすくなるように、テストの計画・アプローチにある程度の制約を指定する、U30専用の補足要求書を新設しました。
最初の開催後
初開催では、学生や新入社員といった初学者・入門者に複数参加いただき、テスコンの参加障壁を下げようという目標は一定レベルで達成できたと感じています。
ただ反省点として、コンテストの競争を重視しすぎて、目的としていた教育方面の貢献が弱くなっていました。
例えばフィードバックについては、客観的な問題点の指摘が中心であり、スキルアップにつながる改善提案や今後の動機づけができていませんでした。特に点数の低いチームについては、問題指摘が沢山羅列されるだけのフィードバックを返してしまう形になり、テスト設計初心者のためという目的とは逆行して、委縮させてしまう恐れも出ていました。
U30はミッションを持つクラスということもあり、振り返りと問題改善に当初から注力していたのですが、そこで上記問題を細かく把握・評価し、次年度への改善につなげるようにしました。
二年目以降：教育的側面を志向する
初期の反省を踏まえて、U30クラスのテスコンは、コンテストの競争よりも、参加者の成長やスキルアップを伸ばす、教育重視のイベントを試行するようにしました。
まず審査員全員で、目的のほか、目的達成のアプローチを具体化して共有し、活動の方向性を固めました：
- 【2020】テスト設計コンテストU-30クラスの目的
- テスコンに若い人を参加しやすくする/テスコンのすそ野を広げる
- テスト設計の大切さに気付いてもらう
- テスト設計の面白さ、他人のテスト設計と比較する面白さを体験してもらう
- 本人の次のステップアップに役立てる/新人・中堅社員教育を支援する/仲間を増やす
- 【2020】目的達成のアプローチ
- 改善を促すようなポジティブなフィードバックを心がける
- 適切に伝えつつ、傷つけないようにする
- 参加チームに気づきを促すような、わかりやすいコメントにする
そして、前年度のふりかえりと、上記のアプローチに沿って、以下の改善を実施しました：
参加者の成長につながるようなフィードバックの充実
コンテスト参加チームには、問題点を指摘するフィードバックコメントを個別に返すようにしています。
従来は問題点や点数の根拠の羅列のみを返す形になっていました。改善後から、激励屋応援の言葉と、問題点をどう改善すればよいか・どう勉強すればよいかを、丁寧に説明するフィードバックを行うようにしました。
これにより1チーム当たり3ページ程度だったフィードバックコメントが、1チーム当たり十数ページの改善提案書となるようになりました。
三年目以降：さらに教育志向を強化する
毎年の開催での振り返り・問題改善を通して、U30は更に教育的側面の強化を志向するようになりました。
まず、コンテストの目的では、具体的なターゲットのイメージと、自分たちが何をしたいのかを、審査委員皆で協議し、同意を形成しました：
- 【2021～】テスト設計コンテストU-30クラスのビジョン
- ◼ターゲットとする参加者
- テスト初心者（業務で触れているがテストの全体感・本質論に関われていない） ★メインターゲット
- 純粋なテスト初心者（一年未満、学生） ★次のターゲット
- テスト設計中堅、コミュニティ参加常連
- ◼参加者にどうなってもらいたいか
- テスト開発をやり切れる
- テスト設計の大切さに気付いてもらう
- テスト設計の面白さ、他人のテスト設計と比較する面白さを体験してもらう
- 本人の次のステップアップに役立ててもらう
- テスト技術を高めあう仲間を増やしてもらう
- 学生教育、新人・中堅社員教育に役立ててもらう
- テスト技術についての成長を実感してもらう
- ■審査員がどうありたいか
- テスコンに若い人を参加しやすくする / テスコンのすそ野を広げる
- テストを分析設計から行うことを周知する/テストエンジニアに対する教育の機会を提供する
- より良いテスト設計を考え続けるきっかけを提供する
- ◼ターゲットとする参加者
そして、上記を達成するためのアプローチについても、審査委員全員で協議し、共通認識として同意しました：
- 【2021～】テスト設計コンテストU-30クラスのアプローチ
- ◼大会外のアプローチ
- 初心者・経験の浅い人でも気軽に参加できるようにする
- 初心者向けチュートリアルの開催
- 初心者参加を促す宣伝
- ◼大会内のアプローチ
- 一通りのテスト設計作業を経験する機会を設ける
- 具体的なお題でテストを考える機会を提供する
- 第三者からステップアップにつながるフィードバックをもらえる機会を提供する
- 参加チームに気づきを促すような、わかりやすいコメントにする
- フィードバックを無理なく対応できるようにする
- フィードバックコメント、直接の対面コメント含め、ポジティブなコメントを充実させる
- 書類審査のコメントで、適切に伝えつつ、傷つけないようにする
- 発表/他の参加者の成果を知る機会を提供する
- ◼大会外のアプローチ
そしてこれらの目的とアプローチに沿って、コンテストの活動を強化していきました。
まずフィードバックコメントを返すだけではなく、審査委員と参加者が直接話し合って、対話や質疑応答で改善点やアドバイスを共有する、フィードバック会を追加で開催するようにしました。
また、フィードバックコメントについては、前年度の方針転換で量が爆発して弊害が出るようになっていたことから、上記アプローチに沿って洗練させてフィードバックするようにしました。
さらに審査基準についても、普遍的に現場で重視される「テストが目的・制約に沿っているか」「そもそもテストが妥当か」のテスト妥当点を新設し、良いテストは何か、どうテストすべきかを考えていただく仕組みを追加しました。
なお自身の仕事の繁忙期の体制面のリスクから、このころから山崎さんにも共同審査委員長に参入いただきました。
これからについて
社外活動とはいえ、自分自身としてもかなり気づき・成長の得られる貴重な五年間でした。誘っていただいた吉澤さんや、協力・支援いただいた審査員・実行委員の方々、参加者の方々、大変ありがとうございました。
なお現在のU-30クラスのテスト設計コンテストは、教育重視の目的とアプローチを定義し、一貫してそれに沿った運営・改善を継続することで、参加者の成長や教育につながるイベントとしてかなり充実してきたと感じています。
自分のスキルを伸ばしたいという若手にはぜひ参加いただきたいですし、ベテラン方がテスト設計について成長やスキルアップに課題意識を持っている若手を見つけたら、ぜひ参加を促していただけると幸いです。
