POSTECHとKAISTの実験、折りたたみスマホの画面反射で周囲からの視認を防止

反射画像がプライバシーを守る

POSTECHとKAISTの研究者らは、部分的に折りたたんだ画面の間に生じる反射を利用し、折りたたみ式スマートフォン上の機密情報を隠す方法を開発した。Samsung Galaxy Z Fold7を使った管理された実験では、システムが表示したテンキーの10個の数字のうち、周囲の観察者が識別できたのは平均0.65個にとどまり、認識率は6.5%だった。

Fold2Unfoldと呼ばれるこの技術は、単独では読み取りにくい2枚の画像にコンテンツを分割する。想定されるユーザーの目の位置からは、直接見える画像に反射画像が重なり、元のコンテンツが浮かび上がる。別の角度から見る人には、ずれたパターンが見える。

POSTECHは、デトロイトで11月2日から5日まで開催されたACM UIST 2026での発表を受け、2026年11月10日に研究を発表した。コンピューターサイエンス教授のInseok Hwang氏と修士課程の研究者Kyoosik Lee氏ら同大のチームは、KAISTのコンピューティング教授Jun Han氏と共同で取り組んだ。

研究者らのFold2Unfoldのプロジェクト説明によると、このシステムはハードウェアを追加せず、画面間の反射と視線追跡を組み合わせる。評価では、市販の折りたたみ式端末で個人識別番号（PIN）を入力する人を対象に、管理された実験を行った。

試作機には実用面での課題もある。6桁のPIN入力にかかった時間は平均8.2秒で、通常の画面の4.2秒と比べて長かった。カメラを常時動作させ、画面を明るく保つことも消費電力を増やす。機密情報を扱う場面で有望な研究システムだが、速度や安定性、バッテリー消費にはなお改善の余地がある。

読み取れない2枚の画像から数字を再現

小型ノートパソコンのように折りたたみ式スマートフォンを半開きにすると、2つのディスプレー面が角度をなして向かい合う。一方からの光がもう一方に反射して鏡像が生まれ、通常の見え方を妨げることがある。Fold2Unfoldは、この反射を画面表示の一部として利用する。

ソフトウェアは数字などのコンテンツを相補的な2枚の画像に分け、それぞれを両側に表示する。どちらの画像も、それだけでは元の情報を読み取れない。ユーザーには、一方の画像が直接見え、反対側からの反射画像も合わせて見える。

適切な位置から見ると、2枚の画像が重なって元の数字が再現される。横に移動すると重なり方が変わり、観察者には判別しにくいパターンが見える。プライバシー保護の効果は、画面とユーザーの目の位置関係に左右される。

研究者らは、反射画像が直接見える画像より暗くなる点も補正する。明るさを調整することで、2つの部分が不均一な画像ではなく、読み取れる一つの像を形成しやすくなる。コンテンツの分割、画像の位置合わせ、明るさの調整が、ユーザーに見える表示を形作る。

ユーザーの視線を追う理由

ユーザーが動いても、Fold2Unfoldは画像の位置を合わせ続ける必要がある。パスワード入力中に頭を動かしたり、持ち方を変えたり、端末の折り曲げ具合を調整したりすることがある。そのたびに反射光の経路が変わる。

前面カメラがユーザーの目の位置をリアルタイムで追跡する。システムは端末の折り曲げ角度も計算し、表示画像の位置や形状を調整する。プロジェクト説明では、この処理を「動的ワーピング」と呼んでいる。ユーザーの視点から画像が重なり続けるよう、ソフトウェアが画像を継続的に変形させる。

論文の筆頭著者で、POSTECHの修士課程研究者であるLee氏は、周囲の人には解読しにくくしながら、ユーザー本人には画面を読みやすく保つことがチームの目標だったと述べた。目の位置や折り曲げ角度が変わっても自然な見え方を維持することが、研究の中心的な課題だったという。

保護された表示が見える範囲は狭いため、この調整は重要だ。ユーザーに頭を完全に静止させるのではなく、端末を使う人に合わせて表示を調整しなければならない。

テンキーと視認性の実験結果

管理されたテンキー入力実験では、誰かがPINを入力する様子を他人に見られるという身近なプライバシーリスクを調べた。これは「ショルダーサーフィン」と呼ばれ、観察者が他人の画面を見て個人情報を知ろうとする行為を指す。

通常のディスプレーでは、近くにいる観察者はテンキーの10個の数字をほぼすべて識別できた。Fold2Unfoldでは、識別できた数字は平均10個中0.65個だった。公式のプロジェクト説明でも、認識率は6.5%とされている。

視角の実験では、観察者の視点がユーザーの視線からわずか7.5度ずれると、数字を読み取るのが難しくなった。比較対象として試験した従来のプライバシーフィルムでは、左右30度の位置でもほとんどの数字が読み取れた。

この結果は、研究者らがユーザーの視点に近い範囲の保護に注力した理由を示している。試験したフィルムでは数字の大半が読めた30度という角度は、Fold2Unfoldで読み取りが難しくなった7.5度の4倍に当たる。

視認距離が35センチの場合、7.5度のずれは横方向に約4.6センチ移動した位置に相当する。日常的な感覚で言えば、目の位置が少し変わるだけで、画像の合成が崩れる可能性がある。報告された結果は、管理された実験でのテンキー数字の認識に関するもので、平均では一部の情報がなお読み取れた。

プライバシー保護の代償はPIN入力の遅さ

参加者が6桁のPINを入力するのにかかった時間は、Fold2Unfoldでは平均8.2秒で、通常のディスプレーでは4.2秒だった。約4秒長く、入力時間はおよそ2倍になった。

公式のプロジェクト説明では、入力時間の増加は小幅とされている。実測値を見れば、ユーザーはトレードオフをより具体的に判断できる。短い銀行取引の操作には時間がかかる一方、周囲の人がテンキーを読み取るのは大幅に難しくなる。

画面に触れると端末が動くこともある。その動きで反射画像と直接見える画像の位置がずれると、ユーザー本人も合成されたコンテンツを読み取りにくくなる。したがって、視線追跡と画像調整は、端末を静止したまま見ているときだけでなく、ユーザーが実際にタップしている間も機能しなければならない。

消費電力も実用上の懸念事項だ。試作機はカメラの常時動作と明るい画面を必要とし、どちらも電力消費を増やす。こうした機能をいつ使うかを決めるうえで、作業にかかる時間に加え、バッテリー駆動時間も考慮する必要がある。

UIST 2026で評価

ACM UISTの公式受賞一覧では、Fold2UnfoldがBest Demo Honorable Mentionに選ばれている。デモのタイトルは「Demonstrating Fold2Unfold: Screen Privacy Protection against Shoulder Surfing using Inter-Screen Reflection on Foldable Smartphones」。

公式一覧に記載された著者は、Kyoosik Lee氏、Jiha Kim氏、Jonghyuk Yun氏、Suwon Yoon氏、Jun Han氏、Inseok Hwang氏の6人。Fold2Unfoldは、最優秀デモ賞1件とともに佳作に選ばれた5件のデモの一つだった。これらの賞は、会議で採択・展示された127件のデモの中から選ばれた。

研究に関する主な公表は11月に行われた。

• 2026年11月2日から5日：デトロイトで開催されたACM UISTで研究を発表し、Best Demo Honorable Mentionを受賞。
• 2026年11月10日：POSTECHが共同研究を発表し、プライバシー保護の成果を説明。

このプロジェクトは、韓国の科学技術情報通信部による研究プログラムの支援を受けた。支援には、基盤研究者、先端融合技術、グローバル融合研究に関するものが含まれる。

試作機の活用が見込まれる場面

研究チームは、モバイルバンキングのパスワード入力、口座残高の確認、プライベートメッセージの閲覧、個人情報の確認などへの活用を見込んでいる。いずれも、公共の場で本人は確認する必要がある一方、近くにいる乗客や客には見られたくない情報を扱う場面だ。

試作機は市販の折りたたみ式スマートフォンに搭載されている画面とカメラを使うため、ソフトウェアによる方式なら導入を簡素化できる可能性がある。ユーザーが専用のプライバシーフィルムを貼ったり、別の機器を持ち歩いたりする必要はない。ただし、この技術を使うには、画面同士が反射し合うよう端末を部分的に折りたたむ必要がある。

Fold2Unfoldは、現時点では研究用の試作機だ。一般向けの発売時期や市販端末への搭載計画は発表されていない。実験にはGalaxy Z Fold7が使われたが、より広く活用するには、試作機で明らかになった実用上の課題への対応が必要となる。

当面、最も有望なのは機密情報を扱う短時間の操作だ。近くから画面を見られるリスクが大幅に高まるなら、銀行取引のPIN入力に数秒余計にかかることを受け入れる人もいるだろう。長時間使う場合は、端末の保持、画像の位置合わせ、カメラへの給電といった負担がより目立つ。

画面の厄介な反射を活用

研究に携わったPOSTECHの教授Hwang氏は、望ましくない画面の反射を保護に役立てることが、この研究の中心的な発想だと説明した。

厄介な画面の反射をユーザー情報の保護手段へと変えたことに意義がある。

この研究は、同時に機能する必要がある3つの要素を組み合わせている。画面間で生じる物理的な反射、コンテンツを分割して調整するソフトウェア、そしてユーザーの目を追跡するカメラだ。これらが連携することで、特定の視点からのみ読み取れる画像を作り出す。

次の技術的課題は、日常的な使用でも無理なく使える仕組みにすることだ。実験ではテンキー情報の読み取りやすさが大幅に低下した一方で、入力時間の増加や余分な電力消費も確認された。こうした実用面を改善できれば、視覚的なプライバシーを実証するデモから、日々の金融・個人情報を扱う際に使える機能へと発展するだろう。

要点

• POSTECHとKAISTは、部分的に折りたたんだスマートフォンの反射を利用し、2枚の画像を組み合わせるFold2Unfoldを開発した。
• 周囲の観察者が識別できたテンキーの数字は平均10個中0.65個で、認識率は6.5%だった。
• 観察者の視点が7.5度ずれると数字の読み取りが難しくなった。一方、試験したプライバシーフィルムでは30度ずれても大半の数字が読めた。
• 6桁のPIN入力には8.2秒かかり、通常のディスプレーでの4.2秒を上回った。
• 既存のハードウェアを使うが、カメラの常時動作、画面の明るさ、端末の動きが実用上の課題となる。
• Fold2UnfoldはACM UIST 2026でBest Demo Honorable Mentionを受賞した。一般向けの発売時期は発表されていない。