金井優奈

平野智紗子

元永航陽

千田知佳

奥野達也

本間大一優

小平乙寧

神田愛依

清水春翔

阿部悠希

金珉志

五十嵐えり

榎坂諒

松橋月奈

栗原佑真

藤澤秀彦

湊祥輝

深池美玖

笠原暢仁

吉本健義

大友千宙

彭雪儿

宮下芳明

宮下研2023年度実績

2023年度 卒業式・学位記授与式

EC71に参加しました

インタラクション2024に参加しました

オープンラボ・全方位進路相談会開催します！【2023年度】

2024年 宮下研 卒業研究発表会のお知らせ

クリスマスパーティー&忘年会 in 2023

WISS2023に参加しました

HCI205に参加しました

イグ・ノーベル賞の対面祝典に参加しました

UIST2023に参加しました

イグ・ノーベル賞（栄養学）を受賞しました

情報処理学会論文誌

ポインティングにおけるカーソルを遮蔽するノッチに関する調査

アイデアの生成には多大な労力を要する．近年では LLM を用いてアイデア生成に係る負荷を軽減するアプローチが広く取られているが，こちらもプロンプトの工夫などで労力を要するものである．本研究では，質の高いアイデアを楽に得ることを目的として，アイデア生成システム『Agent Agora』を提案する．固有のロールを持つ LLM 搭載エージェントを集め，自律的にブレインストーミングを行わせることでアイデアを生成する．ユーザは頃合いを見て状況を確認し，より議論に貢献しそうなエージェントを選定する．選定と放置を繰り返すことで，ユーザは自ら発想することなく多様なアイデアを得ることができる．さらに，実験にて得られた利用例をもとに，システムおよび生成されたアイデアの有用性を評価・考察する．

研究報告エンタテインメントコンピューティング（EC）

Agent Agora: エージェントの選定と放置によるアイデア生成システムの提案と評価

Text-to-Image モデルで生成した画像を意図した通りの画像となるよう追い込むことは難しい．生成される画像をテキストのみで制御することが困難なためである．入力するテキストは単語の順序や修飾関係を明確にしたものでなければならず，後からの修正も容易ではない．また，生成された画像をテキストのみで編集する手法が研究されているが，スクリプト言語でのコーディングが必要となる．本研究はパラメータの調整や特定の部分のみを編集することによってユーザ自らが求める表現へと追い込めるようにすることを目的とし，テキストボックスとスライダからなるノードの操作によって画像の生成と編集を行うシステムを提案する．単語の入れ替えや修飾関係の指定，パラメータの調整といった作業はテキストボックスやコードエディタで行うのではなく，それに適したインタフェースで行うべきだと考えている．ノードベースのシステムとすることで単語同士の関係を指定することや，編集したい部分のみ操作することが可能になる．また，各ノードに備えたスライダ操作によってインタラクティブにパラメータの調整ができる．さらに，作例制作を通した提案システムの評価を行った．提案システムによって生成済みの画像を追い込むことでユーザが求める表現を持つ画像を制作できるようになることを示した．

ノードとスライダで細部調整を追い込む画像生成システムの提案と評価

4ストローク運動錯視は，輝度を変化させた静止画の連続によって，一方向に無限に移動しているように知覚させる運動錯視である．我々の研究により，8.57-15.0 Hzでフレームが更新される4ストローク運動錯視を注視した際にSSVEPが誘発されることが明らかとなり，SSVEPベースBCIに対する4ストローク運動錯視を用いたUIの有用性が示された．一方で，明滅が速すぎて錯視が生起されないという意見が得られたため，周波数帯を見直す必要がある．そこで，錯視が生起性が保証された上で改めてUIの有用性を示すことを目的とし，周波数を4.29-7.50 Hzに半減させたフリッカ刺激を用いて実験を行った．その結果，識別手法としてIT-CCAを導入することで，錯視が生起がしやすい周波数帯においても識別精度が低下せず，既存のフリッカ刺激に匹敵する高い精度を示した．さらにアンケートの結果から，周波数を下げることで錯視が起こりやすくなる傾向が見られた．また，4ストローク運動錯視を注視する際，SSVEPとSSMVEPを同時に誘発している可能性が示唆されたが，IT-CCAは2種のVEPの干渉による影響を受けなかった．そのため，IT-CCAを識別手法として用いることで，4ストローク運動錯視を用いたUIに対し，高い操作性と錯視の生起の両立を可能にすることが期待される．

インタラクション2024論文集

錯視が生起する周波数帯の4ストローク運動錯視を用いたUIへのIT-CCAを活用したSSVEPベースBCIの利用検討

著者はこれまで，食品の賞味期限延長や食品ロス削減に寄与することを目標に，食品の味を時間軸で変化させる味のタイムマシン技術を開発してきた．味の経時変化，特に熟成過程を数式モデル化し，添加物の量に換算することで，食品の味の時間変化を操ることができる．本稿ではスプーン型装置「Chronospoon」を用い，一定の比率で混合された液体を使用し，単一のタンクのみで味の順行・逆行変化を可能にした．これにより従来の調味家電よりも小型化を実現し，実用可能な調味食器としての開発に成功した．

Chronospoon:時を操る調味食器

人類は映像技術が発明されて以来，様々な映像を記録してきた．近年，味覚メディアの発達により，映像とともに味を記録し再生することが可能になったが，これまで記録されてきた映像に対して味を付与することはできない．本稿では，白黒映像をカラー化する技術のように，味が記録されていない映像に対しても，味を推定し付与するシステムを提案する．味はGPT4-Vision により映像の全シーンに対して推定される．プロンプトでは，飲食物の名前，材料とその量をまず推測し，その後に味を推定するように指示しており，段階的な推論によって精度の高い推定が可能である．また，推定された味データは映像の各ピクセルに対応する形でファイルに記録される．視聴者は，映像上の飲食物を指定して，対応する味を出力し味わうことができる．本システムによって，既存の映像メディアを「味わえる映像」にすることができる．

TasteColorizer: 既存の映像メディアを「味わえる映像」にするシステム

新しいポインティング手法を評価するとき，実験では「できるだけ速く正確に」タスクを行うよう教 示するのが一般的である．しかし，速さと正確さのバランスは参加者ごとに異なり，これが結論に影響を 及ぼす可能性がある．本稿では，3 つの主観的バイアス（速さ重視，ニュートラル，正確さ重視）が，既存 のポインティング手法である Bubble Cursor と Bayesian Touch Criterion の評価結果に与える影響を検証 した．結果，Bubble Cursor は全バイアス条件でベースライン手法の性能を上回ったが，Bayesian Touch Criterion は，より単純なターゲット予測手法の性能を下回り，元の論文とは異なる結果となった．このよ うに，複数のバイアスを調査することで，手法の特性をより正確に議論し，一般化可能性の高い結論を得 ることができる．本稿では複数の主観的なバイアスを実験条件に加えることが望ましいと提言する．

速さと正確さへの主観的なバイアスがポインティング手法評価の一般化可能性に与える影響

フリッカ刺激をディスプレイ上で提示する際，リフレッシュレートの制約により，提示可能な周波数が制限されてしまう．そのため多くの研究では何フレームごとに輝度を反転させるかを重視した周波数のみを用いている．しかし，提示できる周波数の数には限界があり，なおかつ一般的なフリッカ刺激の倍の描画更新を要する 4 ストローク運動錯視においては致命的な制約になりうる．本研究ではこの問題を解決するため，描画の切替時にアルファブレンドを用い，擬似的な周波数の再現を試みた．この手法が成功すれば，リフレッシュレートの制約によらず，任意の周波数での効果を再現できることが期待される．そこで，擬似的に再現した周波数をもつ 4 ストローク運動錯視を複数提示し，さらにフレームレートを独立変数に加えて正しく識別できるのか調査を行った．その結果，周波数を疑似再現しても識別が可能であることが示された．特に IT-CCA を識別手法に用いることで，識別可能な周波数帯が拡張され，なおかつ識別精度がリフレッシュレートの低下による影響を受けないことが示唆された．

研究報告ヒューマンコンピュータインタラクション（HCI）

周波数を疑似再現した4ストローク運動錯視に対するSSVEPベースBCIの識別精度

人間の創造的活動において，多数の案を出してその中から最良のものを選択することは多くある．一方で，人間一人の発想には限界と偏りがあることも考えられる．それをコンピュータによる案の網羅的提示によって補うことで，より幅広い探索と良い案の発見が期待される．本稿では，写真撮影時のカメラアングル決定において，網羅的提示が人間の探索行為に与える影響について議論する．

カメラアングルの網羅的提示が探索行為に与える影響

ウェブカメラやマイクなどによって，カーソルの一部や全体が遮蔽されることがある．著者らは以前，ターゲットを挟む遮蔽物が操作時間を増加させることを示した．本稿では，遮蔽物の位置がポインティングに与える影響を調査した．結果，遮蔽物がターゲット間にある場合，ターゲット間の外側にある場合よりも操作時間を増加させる影響が大きかった．位置によって操作の戦略は異なったものの，どちらの場合でも遮蔽物の幅が大きいほど，遮蔽物とターゲットの間隔が小さいほど，操作時間が増加した．また，著者らが以前提案した操作時間予測モデルがどちらの場合にも応用できることを示した．

遮蔽物の位置がポインティングに与える影響

本稿第二著者は，食品の時系列変化を味センサで測定し，液体を噴霧することによって時間の変化を再現する方法について検討した．たとえばバナナやトマト，カレーの味を熟成させたり，逆に熟成したものの味をもとに戻したりする試みも行っている．この知見を利用すれば，味覚において「時間を自在に操るような体験」が提供可能であると考えられる．本稿では，この体験が行えるシステムを試作した．提案システムTaste-Time Travellerに食品を入れ，ダイヤルを回すと，指定した時間が経過した後の味や，指定した時間だけ前の味に変えられる．それだけでなく，半透明なスクリーン上で視覚的な変化も行う（たとえばバナナが青くなったり黒くなったりする）ことで，時間旅行者が味を操っているかのような感覚を生み出すことを試みた．

第31回インタラクティブシステムとソフトウェアに関するワークショップ(WISS2023)予稿集

Taste-Time Traveller：食品の時間を操る味覚AR装置

アイコンタクトは信頼の形成や不安の低減など会話で重要な役割をもつ．だが，ビデオチャットでは互いにアイコンタクトを取ることが困難である．この問題に対処するために，視線補正やカメラ位置を移動させることによってアイコンタクトを可能にする手法が研究されている．しかし，既存研究では視線補正による違和感や，大掛かりなシステムの持ち運びの困難さが問題である．本研究では，ディスプレイに埋め込まれたパンチホールカメラか，小型USBカメラとPCを使用するシステムを提案する．相手の目を検出し，カメラと相手の目の位置を常に重ねることができるシステムを作成した．カメラを瞳孔と見立てることによって，カメラを意識することなくビデオチャットでアイコンタクトを可能にする．

カメラ目点 : カメラを目に見立てたビデオチャットシステムの提案

Miyashita Laboratory.

明治大学総合数理学部先端メディアサイエンス学科宮下研究室

ニュース

研究

メンバー

	三瓶智輝, 宮下芳明
	研究報告エンタテインメントコンピューティング（EC）

	大友千宙, 宮下芳明
	研究報告エンタテインメントコンピューティング（EC）

	振原知希, 宮下芳明
	インタラクション2024論文集

	本間大一優, 宮下芳明
	インタラクション2024論文集

	木下大樹, 大塲洋介, 富張瑠斗, 山中祥太, 宮下芳明
	情報処理学会論文誌

	阿部悠希, 宮下芳明
	研究報告ヒューマンコンピュータインタラクション（HCI）

	大塲洋介, 宮下芳明
	研究報告ヒューマンコンピュータインタラクション（HCI）

	藤澤秀彦, 宮下芳明
	第31回インタラクティブシステムとソフトウェアに関するワークショップ(WISS2023)予稿集

	清水春翔, 宮下芳明
	第31回インタラクティブシステムとソフトウェアに関するワークショップ(WISS2023)予稿集

明治大学 総合数理学部 先端メディアサイエンス学科 宮下研究室

ニュース

研究

メンバー

明治大学総合数理学部先端メディアサイエンス学科宮下研究室