HoloQA: 仮想現実でレンダリングされた人間のアバターに関する完全な参照ビデオ品質評価器
まとめ
新しいビデオ品質評価モデルであるHoloQAは,VR/ARにおけるデジタル人間のアバター品質を正確に予測します. ニューロサイエンスとディープラーニングを統合して,ユニークなアバター歪曲のための既存の方法を上回る.
科学分野:
- コンピュータビジョン コンピュータビジョン
- バーチャル・リアリティー (VR) 仮想現実 (VR) 仮想現実 (VR)
- デジタル信号処理 デジタル信号処理
背景:
- 仮想現実 (VR) や拡張現実 (AR) システムは,デジタル人間アバターをますます使用しています.
- これらのアバターをネットワーク上で送信するには,ユニークな歪みを対処するために,強力なビデオ品質評価 (VQA) が必要です.
- 既存のVQAモデルは,アバター特有のレンダリング,伝送,圧縮アーティファクトをキャプチャすることに失敗することが多い.
研究 の 目的:
- VR/ARにおけるデジタル人間アバターのための最先端のフル・レファレンス・ビデオ品質評価 (VQA) モデルを開発する.
- アバター品質の評価における標準VQAモデルの限界を解決する.
- レンダリングおよび送信された人間のアバターに特有の歪みを考慮するVQAソリューションを提供すること.
主な方法:
- 視覚神経科学,情報理論,自己監督型ディープラーニングに基づくVQAモデルであるHoloQAを開発.
- 多層のミックス・オブ・エキスパートのアプローチを採用し,歪曲意識の知覚とコンテンツ意識の深い特徴を組み合わせた.
- 人間のアバターの高レベルのセマンティック機能抽出のために,自己監督,事前に訓練されたディープラーニングネットワークを使用しました.
主要な成果:
- HoloQAは,LIVE-Meta Rendered Human Avatar VQAデータベースで最先端のパフォーマンスを達成しました.
- VRでレンダリングされた人間のアバターの品質を予測する効果が実証されています.
- 他のデジタルヒューマンアバターデータセットとクラウドゲームビデオ品質評価で競争力のあるパフォーマンスを示しました.
結論:
- HoloQAは,インマーシブテクノロジーのデジタル人間アバターのためのVQAの重要な進歩を表しています.
- モデルの設計は,ユニークな歪みを効果的に捉え,標準のVQAアプローチを上回ります.
- HoloQAは,クラウドゲームを含むVR/ARを超えたアプリケーションの有望性を示しており,そのコードは公開されます.
関連する概念動画
Qualitative Analysis
For solutions containing mixtures of different cations, the identity of each cation can be determined by qualitative analysis. This technique involves a series of selective precipitations with different chemical reagents, each reaction producing a characteristic precipitate for a specific group of cations. Metal ions within a group are further separated by varying the pH, heating the mixture to redissolve a precipitate, or adding other reagents to form complex ions.
For instance, group IV...
For instance, group IV...
Quality Control
Quality control is one of the three cyclical quality assurance activities that help keep a system under statistical control. Typical quality control activities include creating quality control charts, conducting proficiency testing, and documenting and archiving results.
Quality control helps track data, visualize trends, and identify variations, making it easier to detect deviations that may affect the accuracy of an analysis. One way to do this is by generating a quality control chart, which...
Quality control helps track data, visualize trends, and identify variations, making it easier to detect deviations that may affect the accuracy of an analysis. One way to do this is by generating a quality control chart, which...
Quality Assurance
Quality assurance is the overarching term used to describe the activities employed to ensure the proper performance of a system. These activities can be classified into three categories: quality control, quality assessment, and internal corrective measures. Typically, these activities work cyclically: quality control is performed before and during the analysis, while quality assessment occurs during and after the investigation. Internal corrective measures are implemented based on the findings...
Qualitative Analysis
Qualitative analysis is the process of identifying elements, ions, or compounds in an unknown sample. It is the first and most fundamental type of analysis based on the hierarchy of analytical goals. This hierarchy is significant as it provides a structured approach to scientific research, with qualitative analysis serving as the initial step, providing essential information before moving on to quantitative or other forms of analysis.
There are two main approaches to qualitative analysis:...
There are two main approaches to qualitative analysis:...
Depth Perception and Spatial Vision
Depth perception is the ability to perceive objects three-dimensionally. It relies on two types of cues: binocular and monocular. Binocular cues depend on the combination of images from both eyes and how the eyes work together. Since the eyes are in slightly different positions, each eye captures a slightly different image. This disparity between images, known as binocular disparity, helps the brain interpret depth. When the brain compares these images, it determines the distance to an object.
Modeling and Similitude
Scaled modeling is a fundamental technique in engineering, enabling the study of large and complex systems by creating smaller, manageable replicas that recreate critical characteristics of the original. In hydrology and civil infrastructure, for example, scaled models of dams help analyze water flow, turbulence, and pressure. This method allows for accurate predictions of real-world behavior within a controlled environment, significantly reducing the cost and time involved in full-scale...


