システムテスト自動化カンファレンス2019 (中編 1)(後で編集するよ)
概要
7回目のシステムテストの自動化に特化したカンファレンス
私の確認する 講演会場2 テーブル
テスト自動化プロジェクトを支える技術と仕組み / 伊藤由貴さん
ベリサーブでは、品質・検証会社として様々な業種や対象のテスト自動化を行っています。 今回は、テスト自動化プロジェクトを成功させるために整備してきた
ガイドライン テスト自動化プロセス エンジニアのロールとスキル定義 教育体制 などのノウハウ・仕組みについてご紹介します。
シュゴイ…
テストの専門会社らしいなあという平凡な感想も抱きました。
中にいる人は目指すところがわかりやすくてとても良いですね。
会社レベルの「テスト自動化普及」ミッションに立ち向かう話 / 松木直之さん
社内のSEの開発活動において「テスト自動化を普及させる」というミッションを背負って仕事をしています。SI、PKG・サービス開発など幅広く多数の組織があるなかで、会社としてテスト自動化が十分に進んでいることを目指しています。ですが「どんなテストを自動化する話なの?」「どこまですれば普及になるの?」「現場はそんな余裕ないんだよ」など、まったく簡単な話ではありません。私も道半ばですが、そういう活動の状況や施策についてご紹介します。うまくいくこと/いかないこと含め、同じ立場の人のヒントになれば幸いです。
共通部門や自動化普及推進担当のような人はぜひ 個々のプロジェクトではなく複数組織横断、マスでとらえる活動です ミッションの考え方、説明の仕方、何をKPIにするか、など 施策例(ツール、教育、ナレッジ、など)
前のセッションと似ているようで違う話。
同じような話になるのかなと思っていたのでちょっと意外。
QAの専門会社と,超大企業の中の自動推進部隊だと、目的もやりたいこともその先に待っているものも違うもんなあ。
自動テスト≠コスト削減
って話はよく聞くけど、じゃあどういう風に表現するの、ってところはちょっと面白かった。
具体的に表現しつつ、簡単にコスト削減、って書かないようにしよう。
休憩中に tweet まとめ。
ターゲット:自動化を始める人。うまくいってない自動化の人。
— つみき @ 12/22ボドゲ予定。預かり中 2 (@mktk0808) 2019年11月30日
テスト自動化≒テスト実行自動化 として話す。
#stac2019
テスト自動化サービス
— つみき @ 12/22ボドゲ予定。預かり中 2 (@mktk0808) 2019年11月30日
エンジニア数名が客先常駐し自動テストの要件定義、トライなる、システム構築、コーディングなどを行う。 #stac2019
理想:お客様の製品の QCD向上に寄与したい
— つみき @ 12/22ボドゲ予定。預かり中 2 (@mktk0808) 2019年11月30日
一部のPRJの現実:炎上。QCD が上がらない
#stac2019
問題
— つみき @ 12/22ボドゲ予定。預かり中 2 (@mktk0808) 2019年11月30日
社内の横連携不足
テスト自動化スキル不足
マネージャの自動テスト知見不足
#stac2019
スキルがなくて仕事ができなくてスキルが身につかない
— つみき @ 12/22ボドゲ予定。預かり中 2 (@mktk0808) 2019年11月30日
#stac2019
既存の資料も役には立つが、初見の人がうまく使えていない現状もあった。
— つみき @ 12/22ボドゲ予定。預かり中 2 (@mktk0808) 2019年11月30日
具体的な仕組みがもっと必要ではないか。 #stac2019
#stac2019
— つみき @ 12/22ボドゲ予定。預かり中 2 (@mktk0808) 2019年11月30日
ナレッジって、実は使いこなすにもある程度知識が必要だったりするよねー。
施策
— つみき @ 12/22ボドゲ予定。預かり中 2 (@mktk0808) 2019年11月30日
テスト自動化プロジェクトガイドライン策定
実際の事例やシラバス、社外の事例が載っている
#stac2019
テスト自動化の目的、成功要因と失敗要因
— つみき @ 12/22ボドゲ予定。預かり中 2 (@mktk0808) 2019年11月30日
gTAA, TAA, TAS
マネジメント方法
#stac2019
— つみき @ 12/22ボドゲ予定。預かり中 2 (@mktk0808) 2019年11月30日
個々の技術やツールに引っ張られがち。あるある。
実際今そうだしなあ…。楽しいんだけども。
— つみき @ 12/22ボドゲ予定。預かり中 2 (@mktk0808) 2019年11月30日
エンジニアのロールとスキル定義
— つみき @ 12/22ボドゲ予定。預かり中 2 (@mktk0808) 2019年11月30日
何をどれくらい身につけたらいいのかわからない!
ロールを設定し、ロールに求められるスキルを定義した。 #stac2019
上のロールの人は、下のロールはできてるよね、という前提。
— つみき @ 12/22ボドゲ予定。預かり中 2 (@mktk0808) 2019年11月30日
自動テストシステムアーキテクト。プロジェクトマネージャ。プランナーなどなど。#stac2019 #room2
目指す姿:うちのエンジニアはみんなテスト自動化当たり前にできます#stac2019 #room2
— つみき @ 12/22ボドゲ予定。預かり中 2 (@mktk0808) 2019年11月30日
テスト自動化の改善・導入に関するご相談お受けします。
— つみき @ 12/22ボドゲ予定。預かり中 2 (@mktk0808) 2019年11月30日
自動化エンジニア募集中。#stac2019 #room2
質問
— つみき @ 12/22ボドゲ予定。預かり中 2 (@mktk0808) 2019年11月30日
教育期間と育つスピードは?
現状のロールごとの人の数が知りたい
回答
言える範囲で目標値:現場の数だけ必要なので、その数だけ目標#stac2019 #room2
もおおおおおおおおお!ツイッターが問題を起こすのでたびたびツイートが飛ぶ!
— つみき @ 12/22ボドゲ予定。預かり中 2 (@mktk0808) 2019年11月30日
質問
— つみき @ 12/22ボドゲ予定。預かり中 2 (@mktk0808) 2019年11月30日
自動化を推進するジャッジポイント
回答
リスクと自動化のしやすさを加味してマトリクスを作る
まずはハッピーパス?#stac2019 #room2
会社レベルの「テスト自動化普及」ミッションに立ち向かう話 / 松木直之さん (30分)
— つみき @ 12/22ボドゲ予定。預かり中 2 (@mktk0808) 2019年11月30日
#stac2019
— つみき @ 12/22ボドゲ予定。預かり中 2 (@mktk0808) 2019年11月30日
ミッション!
— つみき @ 12/22ボドゲ予定。預かり中 2 (@mktk0808) 2019年11月30日
自社にアプリケーション開発で、自動テストに取り組んでk愛初作業を改善できる
#stac2019
#stac2019
— つみき @ 12/22ボドゲ予定。預かり中 2 (@mktk0808) 2019年11月30日
富士通さんで先進技術共通技術が 5人…?!
自動テストが当然となる環境や時代への危機感。
— つみき @ 12/22ボドゲ予定。預かり中 2 (@mktk0808) 2019年11月30日
競争力の低下、SE価値の低下
テストにフォーカスできないことへの危機感
技術的負債
成長不安 #stac2019
#stac2019
— つみき @ 12/22ボドゲ予定。預かり中 2 (@mktk0808) 2019年11月30日
逆にめっちゃ大きな企業だから、人海戦術が容易に可能なのか…。
寒いですね…。
— つみき @ 12/22ボドゲ予定。預かり中 2 (@mktk0808) 2019年11月30日
500人にアンケートって規模がでかいwwww
— つみき @ 12/22ボドゲ予定。預かり中 2 (@mktk0808) 2019年11月30日
#stac2019
— つみき @ 12/22ボドゲ予定。預かり中 2 (@mktk0808) 2019年11月30日
それでも 2割近く自動テストやってるんだ。
アンケート521人分で、半分くらいがぎっしりみっちりアンケートを書いてくれた。 #stac2019
— つみき @ 12/22ボドゲ予定。預かり中 2 (@mktk0808) 2019年11月30日
自動テストができない理由
— つみき @ 12/22ボドゲ予定。預かり中 2 (@mktk0808) 2019年11月30日
人がいない、難しい、コストに見込めない、外注体制
できないこともある。。 #stac2019
前の話でも聞いたような話…w
ちゃんと知らない
— つみき @ 12/22ボドゲ予定。預かり中 2 (@mktk0808) 2019年11月30日
互いによく知る
知らせる相手に興味がないなど#stac2019
どこかで聞いた話だな?
普及って何だろう?
— つみき @ 12/22ボドゲ予定。預かり中 2 (@mktk0808) 2019年11月30日
どんなテストを?
どれくらいすれば普及?
どうなればいいのか明確に宣言ができない
ゴールを決めて計測する
定義、KPI、計測方法
#stac2019
なにを計測しても、腹落ちしない感はある。
— つみき @ 12/22ボドゲ予定。預かり中 2 (@mktk0808) 2019年11月30日
... とはいっても、計測は大事。
自動テストの実施率
受講率、理解度
状況の変化 #stac2019
ありがとうございますーーー!気持ち暖かくなってきました!
— つみき @ 12/22ボドゲ予定。預かり中 2 (@mktk0808) 2019年11月30日
普及率の計測の先は、"効果の計測"が大事。
— つみき @ 12/22ボドゲ予定。預かり中 2 (@mktk0808) 2019年11月30日
効果は価値の表示。 #stac2019
普及活動の存続がかかっている。(売上ない、コスト削減対象になりがち)
— つみき @ 12/22ボドゲ予定。預かり中 2 (@mktk0808) 2019年11月30日
開き直ってはいけない
説明責任がある
高いモチベーションをもってやる
#stac2019
おすすめ施策
— つみき @ 12/22ボドゲ予定。預かり中 2 (@mktk0808) 2019年11月30日
ツール
教育
事例 #stac2019
ツール
— つみき @ 12/22ボドゲ予定。預かり中 2 (@mktk0808) 2019年11月30日
作るか定めたほうがいい
KPI
利用率
DL数、購入数
自動化対応率
自動化対象とするテスト作業のカバー率 #stac2019
社内ツールを自作するのはやっぱり会社規模かねえ。。
— つみき @ 12/22ボドゲ予定。預かり中 2 (@mktk0808) 2019年11月30日
テストツールハンズオン。
— つみき @ 12/22ボドゲ予定。預かり中 2 (@mktk0808) 2019年11月30日
ハンズオン大事。手を動かさないとわからないことってある。
#stac2019
— つみき @ 12/22ボドゲ予定。預かり中 2 (@mktk0808) 2019年11月30日
教育参加はハードルが低い…?
低いかなあ…。
事例
— つみき @ 12/22ボドゲ予定。預かり中 2 (@mktk0808) 2019年11月30日
自動テストをしているプロジェクトにヒアリング
どれくらい見られているかも計測するの大事。
現場からの要求は高い
手始めに、具体的な事例が見られる。他はやってるのか?も大事。
事例集めは大事だけど、相手の負担にならないようにする必要がある
#stac2019
自動テストの効果=コスト改善:は危険。
— つみき @ 12/22ボドゲ予定。預かり中 2 (@mktk0808) 2019年11月30日
#stac2019
コストの話は効果に書かないようにする。
— つみき @ 12/22ボドゲ予定。預かり中 2 (@mktk0808) 2019年11月30日
KPI を複数持つ
コスト、と一言にしないで、人数、費用、単価、期間、どれの話かを明確にする。 #stac2019
活動スケールを広げすぎない。 #stac2019
— つみき @ 12/22ボドゲ予定。預かり中 2 (@mktk0808) 2019年11月30日
エンジニアすべてが自動化できる必要があるか?
どのドメインにも適用できるか?ということかな。