ディープラーニングを活用した動画コンテンツ作成業務の自動化
～通販動画を短尺化するための推論モデルの開発およびワークフローの自動化～

エッジテクノロジー株式会社（本社：東京都千代田区、代表取締役社長：住本幸士）は、ジュピターショップチャンネル株式会社（本社：東京都江東区、代表取締役社長：小川吉宏）が保有する通販番組のアーカイブ動画を短尺動画として編集し、スマートフォン版通販サイトに動画コンテンツとして掲載する一連の業務を、ディープラーニング*を活用することで自動化しました。
（*：人間が自然に行うタスクをコンピュータに学習させるAI技術のひとつ）

■ 課題の背景

ジュピターショップチャネルでは、ショッピング専門チャンネル「ショップチャンネル」を運営しています。放送済みの映像はアーカイブ動画として保存しており、これらの資産を編集して再利用することを検討していましたが、ショップチャンネルは24時間放送しているため対象となる動画数は膨大です。手作業による動画編集は費用対効果が見合わず、動画編集を自動化できるシステムの開発手法を模索していました。

■ 課題の解決方法と期待される効果

画像認識の技術を応用して商品閲覧数の増加が期待できる箇所を自動で短尺動画化するサービスを開発しました。当該サービスはAWSが提供するクラウド環境内で構築し、短尺化の対象となる動画がクラウド環境にアップロードされることをトリガーとして動画の各カテゴリに応じたモデルで推論を行い、推論結果の値を利用して動画の切り抜きポイントを特定してシーンを抽出することで、短尺動画として保存されます。また、作成された短尺動画は、通販サイトのユーザーの閲覧動画に基づき、レコメンデーションされることで、商品閲覧数が増加し、通販サイト経由での売上増加に寄与することが期待されています。

■ モデル概要

動画の推論には、オープンソースの機械学習ライブラリであるPyTorchの「MobileNetV2」を主要モデルとして採用しています。実証実験（PoC）の段階では、物体検出（Object Detection）でAmazon RekognitionやSSD（Single Shot multibox Detector）の検証、画像分類でMobileNetV2以外にVGG、ResNet50の多値分類、2値分類の検証を行いましたが、MobileNetV2が精度、スピードともに良い検証結果が得られました。分類モデルには望ましいシーンと望ましくないシーンを2値分類させることで、より望ましいシーンの抽出に近づけました。レコメンドエンジンは、コンテンツベースのレコメンドを採用し、動画のカテゴリ商品情報のベクトルを元にコサイン類似度を算出し、ユーザーへの推薦時には在庫を保有している商品の動画のみをレコメンドする設計を施しました。

■ ワークフロー概要

アーカイブの元動画を画像に分割しディープラーニングで推論した結果を利用して短尺動画を作成し保存する流れをコンテナ化し、元動画がAmazon S3に保存されるイベントをきっかけにAWS LambdaがAWS Batchを起動させ、AWS Batch上でAmazon ECRに保存したコンテナイメージをAmazon EC2インスタンスに反映して実行することで、ワークフローの自動化を行いました。

【エッジテクノロジー株式会社】

事業内容： AIアルゴリズム事業（AIソリューションサービスの提供・AI教育サービスの提供・AIプロダクトの開発/販売）
所在地：東京都千代田区神田須田町1-32-7　クレス不動産神田ビル5階
設立： 2014年5月12日
従業員数： 68名（2022年7月31日現在）
資本金： 95百万円
代表取締役：住本幸士
URL ： https://www.edge-tech.co.jp/