Binary
Continuous Image Decomposition
for
Multi-view Display
Abstract: This
paper proposes multi-view display using a digital light processing (DLP)
projector and new active shutter glasses. In conventional stereoscopic active
shutter systems, active shutter glasses have a 0-1 (open and closed) state, and
the right and left frames are temporally divided. However, this causes the
display to flicker because the human eye perceives the appearance of black
frames when the other shutter is closing. Furthermore, it is difficult to
increase the number of views because the number of frames representing images
is also divided. We solve these problems by extending the active shutter beyond
the use of the 0-1 state to a continuous range of states [0, 1] instead. This
relaxation leads to the formulation of a new DLP imaging model and an
optimization problem. The special structure of DLP binary imaging and the
continuous transmittance of the new active shutter glasses require the solution
of a binary continuous image decomposition problem. Although it contains
NP-hard problems, the proposed algorithm can efficiently solve the problem. The
implementation of our imaging system requires the development of an active
shutter device with continuous transmittance. We implemented the control of the
transmittance of the liquid crystal display (LCD) shutter by using a
pulse-width modulation (PWM). A simulation and the developed multi-view display
system were used to show that our model can represent multi-view images more
accurately than the conventional time-division 0-1 active shutter system.
-Program code (c++ + opencv) + parts list + schematics
-windows-64bit binary (visual studio 2013 + openmp)
@article{Koutaki:2016:BCI:2897824.2925949,
author = {Koutaki, Gou},
title = {Binary Continuous Image
Decomposition for Multi-view Display},
journal = {ACM Trans. Graph.},
issue_date = {July 2016},
volume = {35},
number = {4},
month = jul,
year = {2016},
pages = {69:1--69:12}
}
[in Japanese]
[概要]
現在、ＤＬＰプロジェクタを使った３Ｄ映像表示装置では、図１に示すようなアクティブシャッター方式が主流です。
これは左右のメガネのシャッターを開閉(On/Off)制御し、それに合わせて左右の映像を同期表示させることで
左右の目に異なる映像を見せる技術です。これは1922年にハモンドオルガンで有名なハモンドがteleviewという
システムで発明して以来、原理的には変わっていません（シャッターは機械式から1970年代にLCDに変化しましたが）。
図１．いままでのアクティブシャッターメガネ（開閉(0/1)の状態をもつ）
それに対して、本研究では図２に示すような、連続な透過量をもつアクティブシャッターメガネを提案します。
図２．提案するアクティブシャッターメガネ(0〜1の連続な透過量をもつ)
本方式の狙いは以下となります。
【狙い１】
多視点映像は互いに似たような画像なので相関がありますが、従来の時分割方式では
これらの相関を無視します。一方で、提案方式は、画像間で共通する情報を使いまわすことができます。
これにより量子化誤差の低減が期待できます。
【狙い２】
従来方式では、完全にシャッターをオフにするため、所謂ブラックフレームが発生します。
これはフリッカの原因となり、特に視点数を増やすと顕著になります。
一方で、提案方式ではブラックフレームは発生しないため、フリッカ低減が期待できます。
本論文の成果として、上記を実現するためにモデルを組み立て、最適化問題に落とし込みます。
２値画像セットとシャッター透過率を最小二乗法で求めます。
複数の画像をＳＶＤを用いて、基底画像と重みベクトルに分解するモデルと似ています。
Biが２値画像で、riがシャッターの透過率です。
本研究では、この重みベクトルをシャッターの透過率とみなします。
ただし、２値画像＋0〜1に制約された重みベクトル、という特殊なケースとなります。
本研究ではParticle Swam Optimization (PSO) + 0-1整数二次計画法によって解きます（大域解ではない）。
すなわち、PSOで散らした重みベクトルを固定して、0-1整数二次計画法を解いて２値画像を求めます。
0-1整数二次計画法は、分枝限定法を用いますが、線形緩和をせずに行列演算でおおざっぱな下界を
求めて枝刈しています。
また、市販の液晶シャッターメガネを分解して、プロトタイプ機器を作成し、その効果を確認しました。