共同デザインプロセスを理解するためのマルチモーダルフレームワーク

科学分野:

• ヒューマンコンピュータインタラクション
• デザイン研究
• コンピュータ支援協調作業

背景:

• 共同デザインプロセスの分析は、結果と意思決定を理解するために重要です。
• 現在の方法では、インタビューや観察からの統合されたテキストデータに依存することが多く、データの量と異質性の問題に直面しています。
• ワークショップからの多様なデータソースの統合は、デザイン研究における大きな課題のままです。

研究 の 目的:

• ワークショップ分析のための実用的でモジュール式で適応可能なフレームワークを提案すること。
• マルチモーダルデータの統合のためのインタラクティブな視覚分析システム、再CAPitを導入すること。
• 共同デザインワークショップのデータリッチな取得、AIベースの抽出、視覚分析のための方法論を強化すること。

主な方法:

• ワークショップの設定、マルチモーダルデータの取得、AIベースのアーティファクト抽出、視覚分析を含むフレームワークを開発しました。
• ビデオ、オーディオ、メモ、視線データなどのモダリティを統合した再CAPitシステムを作成しました。
• さまざまなテーマにわたる6つのワークショップを実施し、2つのケーススタディを詳細に分析しました。

主要な成果:

• 再CAPitシステムは、マルチモーダルデータを柔軟に組み合わせて分析することを可能にします。
• マルチモーダルストリームグラフは、アクティビティと注意を視覚化し、トピックカードは議論を要約します。
• ドリルダウン技術により、さまざまなソースからの生データを検査できます。

結論:

• 提案されたフレームワークは、データリッチな取得により共同デザインワークショップの方法論を拡張します。
• AIベースの抽出とインタラクティブな視覚分析を組み合わせることで、透明性の高い結果の普及が可能になります。
• このアプローチは、デザインプロセスにおけるコラボレーションと意思決定のより深い理解を促進します。