システムテスト自動化カンファレンス2019 行ってきた ｜ Advent Calendar 2019
IT系の勉強会行ってきた Advent Calendar 2019 - Adventar の23日目
募集開始が早い+同じ日に大きなカンファレンスが他でも行われる事が多く、直前で繰り上がる事が多いイメージがあるイベント。
AIを活用した交通事故削減サービスのテスト自動化
- DriveChart
ドライブレコーダーを付けてもらって解析→レポートを管理者→ドライバーに指導
危険シーンとかをクラウドで管理者が見れたり得点が算出 - AIに対してのテスト/QA
モデル精度のテスト、品質保証は絶対に失敗できないケースの定義 - ソフトウェアと機械学習の開発フロー違い
決定論的な振る舞い or 入力データに対しての確率的振る舞い
自動テスト可能 or 部分集合に対するテスト
直接修正 or 間接的修正 - 変更が行われるたびに品質保証、コンポーネント全体に対してのテスト
- コードのバージョニングとモデルのバージョニングは考え方が異なる
- MLOpsを意識し前処理の自動化
EM×QA視点で進めるテスト自動化への取り組み
- ビジネスリスクを軸にテスト自動化
- EM：PM,リソース、チーム作成、1on1、技術導入
- QA：テスト計画・設計、テスト仕様書レビュー、障害分析、再発防止策検討、テスト自動化導入
- テスト自動化の管理と実行コスト小さい方が簡単 Unit > API > E2E
Serverless automation UI testing by using AWS Fargate
- 自動システムテスト環境をEC2→EC2 Fargate
- 起動時間課金なのでずっと起動しっぱなしより安い
- コンテナでのテストでの注意点やハマりどころの紹介
Beyond automated functional checking for mobile
クラウド上のモバイル端末・シミュレータを活用した大規模並列テスト
- 無作為操作でのパフォーマンス劣化を検出したい
- テスト発見は開発工程手前で発見する方が修正にかかる所領時間が短い
- AWS device Farm
日本製の端末はあまり揃ってない、何割かの端末は起動に失敗する -
GitHub - DeNA/devfarm: Tools to control iOS and Android mobile apps across several device farms
同じインターフェースで起動・終了することのみに専念
SeleniumConf 二都物語
- SeleniumConf TOKYO 2019年4月 26カ国 400人以上
2週に1度、月曜の夜に30分オンラインMTG
2トラック26セッション 英語15:日本語10 - London
初級:中級:上級 = 13:9:2
初参加や初登壇の若手を紹介、ベテランはわかりやすく紹介
mabl導入記
- E2Eテストの運用は大変、シナリオ問題なくても落ちる、chromedriveのバージョン
- mabl
ユーザー数が増えてもプランが上がらない
chrome拡張入れてmablのサーバー上でtestを並列実行→使いやすい - 実行時に操作する要素がハイライトされたりしてる
ステップごとにスクショ、実行環境をメンテしなくていい - ツールにあったシナリオを自動化を考える
画像認識ベースのUI自動化フレームワークを用いた取り組み
- Airtest
NetEaseが作成、画像ベースで操作、専用のIDEが提供、実行環境セットアップが容易 - AndroidとiOSに対して同じDesignのアプリなら画像認識部分を差し替えて1ソースで対応可能
- 課題もある
→端末内のパーミッションを求める系が軒並みOSバージョンもあり落ちた - 自動化できるできないを整理、関係者で合意
上記の他にLTもあって面白かったけど割愛。
QAさんの話は普段の開発やSRE業務とは違う視点での話があり勉強になる。
最近の開発だとスモールチームかつQAもチームに入ってアジャイルテスティングな感じなんだろうか…？
テストネタだとブロッコリーさんの勉強会も面白かったです。
