自動運転バス試乗してきた

前置き

弊社Filot(ファイロット)は
福岡地域戦略推進協議会（Fukuoka D.C.)の会員だが、
FDCが参画している Fukuoka Smart Easts 推進コンソーシアム にて実施される、
ハンドルのない自動運転小型バス「NAVYA社製 ARMA」を使用した
実証実験の試乗モニターの募集があったので、
試乗してきた

www.fukuoka-dc.jpn.com

smartcity.fukuoka.jp

www.macnica.co.jp

公共交通における社会課題としては、
・バスのドライバー不足
・廃止路線の増加
・バス会社の経営難
・高齢者は自由に移動ができない
などが挙げられている

GPS、LiDAR、SLAM等により走行位置座標の検出を行い、
あらかじめ設定されたルートに沿って自動制御で走行するとのこと

実証実験では、箱崎でのまちづくりを進めるうえでの走行課題、
モビリティの安全性や機能性を検証する

場所は貝塚公園

公園の一部、約400メートルを、時速7kmで走行する

様子

感想

時速7kmではあるが、乗り心地は普通のバスと変わらず、よい

車内の様子もカメラで撮影しているので、安心感がある

目的地の設定は、現状自分で車内備え付けのパネル上で選択しなくてはならない。
定期券などを利用するときと比較して手間が増えているので、
UXを洗練すれば普及するかもしれない

触覚について調べてみよう

触覚フィードバッグに興味を持ったため
触覚とは、調べてみました

 
触覚とは

私たちは普段から指を使って色々作業を行なっています

その指が触れているという状態はどのようなものなのか調べてみたいと思いました

普段から色々多く触れているのだと思いますが意識はしてません

まず思いつくのはPCのキーボード、スマホ、洋服など

それぞれ「つるつる」「ざらざら」「柔らかい」「硬い」指先だけで感じることができます
PCのトラックパッドなどクリックした感覚がなければ使いにくそうです

それに触覚がわからなければ物を掴むことも難しいでしょう

さて、感覚はどうやって生じているのか

触覚を受ける神経

人間の皮膚にある触覚の受容器には
・メルケル細胞
・マイスナー小体
・ルフィニ終末
・パチニ小体
などの神経があるそうです

「皮膚の受容器」などで画像検索すると構造断面図がでてきます
こちらから画像をお借りしてきました

これらの神経細胞が外力による皮膚変形を刺激として受け取り、この刺激によって「触れた」という感覚になるようです

また、この刺激応答には2種類の型があるそうです

・遅順応型(Slowly Adapting : SA型) - 刺激のはじめと終わりに反応
・速順応型(Fast Adapting : FA型) - 持続的な変形に反応

先ほど紹介した4種類は以下のように分類されるとのこと
SA型 : メルケル細胞、ルフィニ終末
FA型 : マイスナー小体、パチニ小体 

これらは「刺激に慣れてしまう速度」によって別れているそうです

もっと細かくSAI, SAII, FAI, FAIIと分けられるようですが、今はそこまで詳細に知りたいわけではないので置いておきます

※ちなみにIとIIは受容野の境界が明瞭かどうかによって分けられるそう。
知識のない私は「受容野」を調べることになります

受容野 - Wikipedia

つまり、この神経に自在に刺激を与えることができれば擬似触覚ができるというわけですね

さて、どうやって刺激を与えられるのか、、

触覚を外部から与える

どうやら電気を送ることで神経に刺激を与えることができるようです

人間の細胞は電気を帯びており、電気的な刺激が加わることで反応する性質なのだそう

ではどのように刺激を送れば「つるつる」や「ざらざら」が表現できるのかです

触覚を表す言葉は多様にあります

「触覚　オノマトペ」

などで調べると色々な記事がでてきます

一体触覚とはどれだけの種類があるのか、、

はっきりと何種類かはわかりませんでしたが「ふわふわ」「べとべと」「さらさら」「でこぼこ」思いつくだけでも多いということはわかります
わかってるだけで何十種類もあると書いてある記事もありました

結局触覚を表すものって何なのか

「触相図」

というものでなんとなく理解したつもりになってみました

触覚を表すには "粗さ、硬さ、湿り気" が必要そうです

他に温冷も必要そうですが、とりあえず感覚として掴みやすそうな粗さと硬さを調べてみます

ではそれぞれをどうやって表現できるのか

粗さ

皮膚を押すことと皮膚を擦ることで受ける刺激によって粗さを表現でき、マクロ刺激ととミクロ刺激というようです

マクロ刺激 :

　押し当てて接触面の圧力によって知覚する

　(メルケル小体)

ミクロ刺激 :

　触動作に伴って皮膚表面に振動や動的なふるまいを知覚する

　(マイスナー小体、パチニ小体)

振動は電気によって表現できそうな気がします
スピーカーをイメージしてます

硬さ

皮膚を押し返す反力の関係で硬さを感じるようで

弾性、剛性が関係するようです

指の柔らかさより柔らかければ柔らかいと思うのか、押すことで接触する面が増えることで柔らかいと感じるのか、

反力が集中しているのか分散しているのかで柔らかさを感じるのか、

どうやらまだどういう情報によって柔らかさとしているのかはっきりしていないようでした

深部感覚と皮膚感覚両方が関係するようです

自分の指の硬さも関係するためなのか、見てみた論文ではそれぞれの方法で定義して実験を行なっていました

触れる材質の弾性(ヤング率)と物体の剛性(ばね定数)を合わせたもので判定しているものが多かったです 

材質を叩いた場合と押した場合でもまた関係は変わってきそうですね

次回 触覚フィードバッグを試してみたい

ネットで検索するのではなく、もっとちゃんと調べてみたいですが、とりあえず興味本位でちょっとやってみるようなものでは無いですね

粗さを表すの振動だけでも触ってみたいです
それだけでは材質を表現はできないと思いますがひとまず、指で物体をなぞるときに振動を発生させたいです

神経科学入門メモ書き_2

前回↓

filot-nextd2.hatenablog.com

今回はこちら↓

www.amazon.co.jp

• ゲシュタルト群化原理
  

  kosuken.exblog.jp

• 単純接触現象
  

  ja.wikipedia.org

• ↑に、視線誘導を付け加えると、感情に影響を与えることが可能
• 恋愛と薬物で反応する脳の部分は同じ(報酬系、腹側被蓋野)
• サブリミナル効果は淡蒼球(大脳基底核)という脳部位が関係する
  

  theory.work

• ひらめき(説明可能：意識)は大脳皮質、直観(説明不能：無意識)は基底核
  直観の例は、ブーバ・キキ試験
  

  ja.wikipedia.org

•  手続き記憶は無意識かつ正確(箸で米を食べる、バスケットボールのシュートetc..)、訓練により磨かれる

• 訓練により磨かれ、直観として現れる
  将棋のプロの試合で、中盤は手数が多く、読めないため、その際直観として最良の手がわかることがある
• 対象の好き嫌いは操作できる(好きな音楽を聴かされているときに試し書きしたペン、嫌いな音楽を聴かされているときに試し書きしたペン)
• 情報として頼りになるのは脳よりも身体
  握力測定中、モニター等を使い、サブリミナル効果で「がんばれ！」と出すだけで握力が増す
  ミュラーリヤー錯視をつまもうとすると、頭の中では短い、長いとゆう錯覚を起こしているにも関わらず、指は同じ感覚でつまもうとする
  

  illusion-forum.ilab.ntt.co.jp

• 脳は、自分のとった行動を通して、自分の状況を理解している
  脳梁が仮に切断されている状態で、「ペン」という文字を、左右どちらかの視野に表示した場合、右の場合、視野の情報は左脳に届くため、言語野の影響もあり、表示されたものが「ペン」だと認識できる。
  左の場合、右脳に届くが、言語野は左脳にあるため、文字は表示されているが、それが何かはわからない、ただし、目の前にいくつかモノを置いておき、該当するものを拾うようにと指示すると、ペンを手に取る。そしてさきほど表示されたのがペンだとそこで初めて「意識的に」理解する。
  右脳に「ドライバーを取れ」、左脳に「時計を取れ」と表示し、両方とらせたあと、ドライバーを取れは認識していないはすなので「何故ドライバーを手に取ったのですか」と聞くと、時計を修理しだすためと言い出す。答えた本人は至って大真面目(作話)。 健常者であっても、よくある、そして無意識なので気付かない
• 整合性を付けたほうが安心できる為
• 心の痛みと、身体的な痛みで反応する脳部位は同じ
  包丁で指を切った話をすると、背筋が震えるが、その際にも痛みの脳回路が該当する、他社との共感は、痛みの回路を流用している
• 側頭葉のある部分に自分を認識する回路がある
• 頭頂葉と後頭葉の境界、角回を刺激すると、幽体離脱を起こせる
  

  gendai.ismedia.jp

• 五感の中で、嗅覚のみ視床を通らずに大脳皮質に届く、その為、寝ていても匂いは感じ取れる
• 構造が保たれていれば、ある程度の共通の認識が生まれる(甘い、苦い、黒い、白い、熱い、痛いetc...)
• 運動前野、補足運動野が、運動の計画をたて、運動野が身体に指令を出す
  運動野を刺激すれば身体が動く、運動前野、補足運動野を刺激すれば、動かしたくなる（エイリアン・アーム・シンドロームみたいなもの）
• 脳の電気活動には「ゆらぎ(α波)」がある
  神経細胞へのシナプスからの入力が一定ではないことにより生じる
  神経細胞のスパイクには閾値があるため
• ゆらぎの利点は
  効率よく正解に近づく(パチンコで後で台を変えるとき)
  弱いシグナルを増強する(人間の目が、カメラと比較して、暗いところでコントラストを保ったまま見えるのは、弱いシグナルを検出して全体を見えやすくしているため)
  創発のためのエネルギー源(単純なルールを組み合わせて、思いがけない効果を得ること)
  の３つ
• ゆらいでいる電気活動は、創発によりある時規則正しくなる(ベキ則)
• 脳のベキ則は、神経細胞の回路の構造から生み出される
• 回路の構造+ノイズ=機能となる
• ゆらぎは重要
  ゴルフでパターショットを行う際、ゆらぎの状態を把握すれば、いつ打てば入るとかがわかるようになる
  他、集中を必要とする行動、記憶等々
• ゆらぎ自体のコントロールは可能。α波を目に見える形で計測し、念じる
  訓練すれば操れるようになる、自律神経が意識的に制御できないのは、自律神経自体にフィードバックの為の回路が存在していないため、目に見える形で現在の値を表示させれば、訓練次第で制御可能。興奮してるときに落ち着かせたり、血圧を下げたり

直近ではゆらぎの制御が目玉になる(なっている)のだろう。

脳により世界が構築されるという点はやはりおもしろい。

3Dプリンタパーツの接着とFlashPrint設定

目的

3Dプリンタを使ってボックス型で上部が開いたケースを作りたい

パーツ接着

3Dプリンタで大きめのケースを作りました
使用した3DプリンターはAdventure3です

Adventure3の造形サイズは150mm角対応していますが、作りたいケースは170~180mmほどのボックス型ケースです

対応サイズより大きいので分割してくっつようと思います

モデリングは四角を作るだけなのでささっと作成
作成したら150mm内に入るように8分割しました

こんな感じです

各パーツを出力しました

くっつけるのにはアクリサンデーを使います

小さいパーツで試したところしっかりくっつきました！

 ↑2つのパーツを接着してます

次に大きいパーツの接着に入ります

ここで問題発生です

作業台にしていたカッターボードの素材が合わなかったようで
ボードに液体が落ちて膨らんできました！

慌てて近くの布で拭きましたが表面が溶けていきます、、
もう手が出せずにそのまま放置した結果
ちょっと破れて表面に拭いた後が残りました
乾燥したら萎んで綺麗に戻りました
よかったです

膨らんだときの画像は慌てていて撮影してません、、

とりあえず接着続けます

結果、こんな感じ。

まぁまぁ綺麗に接着できてると思います

そして反対。

液漏れしてマットにくっついてしまったところです

とても残念です

テープなどで仮止めしながらやるべきでした

もしくは、アクリルやガラス用に強力両面テープもあるようなのでそちらを用意するべきでした

また、接着の際の注意事項ですが
出力した樹脂が溶けてスポイトの先が詰まり液が出ず、詰まったことに気づかないまま押してしまって液が飛んできました

目に入らなくて本当によかったです

ゴーグルあった方が良いですね

スポイトの先が詰まった場合、詰まった先を液につけることでまた溶けて元に戻ります

無理をしてはダメです

結局、出来上がりが結構汚いので、再度プリントし直してレゴブロックのように凹凸をつけてくっつけることにしました

アクリサンデー使いません

モデリングに変更を加えます
厚みも結構あったので少し薄くしました

こんな感じです

凹凸が見えるように1パーツ非表示にしてます

プリント出力してくっつけた結果

 

なかなか綺麗にくっつきました

持ち上げても大丈夫です

くっつけるための凹凸を作るために先に小さなブロックを作って試したのですが

サポート材の設定が良くないのか、穴が潰れたりサポート材が剥がれなかったりしてうまくいきませんでした

なので小さなブロックで設定値を変えて試します

さらに試します

モデルの向きを変えて出力したり凹凸の隙間を変更してみたり
サポート材をつけないようにしたり、、

結局FlashPrintの設定値を変えて

凸にサポート材をを使って凹には使わないようにしました

FlashPrint設定

ブロックの凹凸につけるサポート材の設定と

もう一つ気になる点がラフトを剥がした後です

印刷向きを変えると多少よくなりましたが1つ目のは汚いです

 

 これらの設定をどうしたら良いかわからず検索しました

ラフトなしでプリント

ラフトは無いとプリント時に1層目でプラットフォームに定着せず積層ができないと思っていました

こちらの動画のコメントを見て移動速度が大事なのだと気づき、一層目の最大移動速度を変更することで解消しました

www.youtube.com

プリント設定はエキスパートモードにしています

設定を変えるのは一層目の最大速度と最大移動速度です

これでラフトなしでも積層されるようになりました

ラフトを綺麗に剥がす

今回はZ軸に凸が並んでる場合にサポート材必須なのでラフトはあった方が良さそうです

 

サポート材をつけてラフトなしにするとメッセージが表示されます

ラフトを綺麗に剥がす設定ですが、こちらを参考にさせていただきました

とてもわかりやすかったです

www.youtube.com

私は積層ピッチは0.18mmにしました

ラフトのモデルスペースは0.21mmです

冷却ファン状態

小さいブロックでは問題なくても、サイズを大きくするとと穴が潰れてしまします

フィラメントは、温度が下がると収縮してしまうそうなので冷却しないようにしました

　

 これは冷却タブにある冷却ファン状態を「起動しない」に設定することで解消しました

これでブロック状のプリント出力ができるようになりました 

設定が細かくてなかなか難しいです 

今回初めて黒のフィラメントを使ってみましたが、綺麗に見えていいですね
付属されていた赤色はクリア感があったのでケースにするには黒の方が良さそうでした

エキスパートモード設定の詳細はこちらに説明がありましたのでリンクを貼っておきます

神経科学入門メモ書き_1

当部では、ブレインテックの研究開発を進めようとしている。

ブレインテックに関する概要は以下。

ampmedia.jp

↓前回はNextMindで遊んだ。

filot-nextd2.hatenablog.com

活動するにあたり、神経科学の門を叩く必要性を感じたため、

↓以下を参考に知見を吸収してみる。

note.com

尚、本記事のタイトル「メモ書き」とある通り、

↑で紹介されてる本に記載される知識のメモである。

その為、箇条書きで羅列する。 

↓今回の本

www.amazon.co.jp

• 神経細胞は大脳皮質(灰白質)に集中しており、大きさは25-30マイクロメートル
• 1mm立法メートルあたり、2万～10万個ある(脳全体で約1000億らしい、、)
• 大脳皮質は6層構造で、すべての哺乳類に共通
• 脳の場所により役割がちがう(いわゆる脳地図)、ただし脳地図は後天的。脳地図は以下のようなもの
  

  ペンフィールドマップ(脳地図)からひも解く脳活性 | My sense

• 体の作りによって脳地図は変更されていく(例えば片腕を無くした場合、無くした腕に対応していた脳部位は、体の別の部位に対応していく、逆も然り)
• 目から入った情報の、脳内での大まかな流れ
  目(網膜)ー＞視神経ー＞視床(交差)ー＞後頭葉の第一次視覚野ー＞他視覚野(第五迄)ー＞側頭葉(物体自身)、頭頂葉(物体の様子、震えている、動いている、とか)
• 視覚野は第一から第五までわかれている
• 運動野を刺激すると体を単純に動かせる(腕を前に、後ろに、とか)、
  また、行動という漠然とした命令を下せる神経細胞も運動野に存在する
  (ここにリンゴをおけ、あそこにエンピツをおけ、とか)
• 視界の奥行き感は片目でも感じる、脳がある程度補完しているから
• 錯覚は、周りのコンテキストによって生まれる
• 動くものを視る時、0.00x秒未満の間の動きは、脳により補完される(10秒間にパラパラ漫画を見る際、0.1秒ごとに1枚と、0.001秒ごとに1枚だと、0.001秒ごとの方が滑らかになる、逆を言えば、これ以上細かくしても、人間には意味がない、脳による補完により、違いを認識できないため)
• 視神経は約100万本あるが、色も補完している(100万本を単純に100万画素だとすると、4Kテレビ放送は約829万画素。人間の目で本来映らない色があるが、それは脳が、経験により保管している)
• 盲点は普段脳が補完している
• 錐体細胞は網膜の中心付近(盲点あたり)に集中している、つまり、実際に視界として入ってくる情報のうち、色は中心付近しか入ってきていない、外側は桿体細胞のみで本来なら白黒、色が見えてると思うのは、脳が補完しているため
• 盲視、上丘は、回路として視床を通さず直接大脳皮質に届くため、単純で処理が早い
• 意識的にしてる動作でも、まず無意識の脳内領域が準備として必ず発火(スパイク)する
• ミラーニューロンにより他の人と感情が同調される
• 恐怖により心拍数が上がるのは、扁桃体で命令が起こり、その後神経細胞により感情が副産物として作られる
• 人間は記憶を正確に覚えていない、曖昧に特徴だけを覚えている、例えばテレビはたくさん種類があるが、一度も見たことのないものをテレビだ、と認識できるのは、特徴を記憶しているから。完全に正確に記憶していると、応用力が効かずに、テレビと認識できなくなる
• 神経細胞の数は約1000億、シナプスは神経細胞一個に付き約10000個
• 神経細胞の電気活動は電子ではなく、イオンが流れている
• 神経細胞の内側が－、外側＋
• 電位差が少なくなるとチャネルが開く(ナトリウムイオンを取り込む)
• シナプスから発する神経伝達物質は100種類ある
  例：グルタミン酸(Na+を流す)、γアミノ酪酸（GABA）(Cl-を流す)
• ＋がアクセル、ーがブレーキ、グルタミン酸がアクセルの役割であり、GABAがブレーキの役割を担う
• 神経伝達物質を出す確率はシナプスによる
• 神経伝達物質のやり取りにかかる時間は約1/1000秒
• Cl-によるブレーキはシナプス周辺のみ
• シナプスは一方通行
• スパイクを出力する閾値が存在する
• スパイクは軸索、樹状突起側双方に発生する
• その為、シナプス付近で、複数の神経細胞のスパイクが重なることがあり、これによりシナプス間の結びつきが強まる、海馬付近でよくある
  (神経細胞A、神経細胞Bの順で発火->シナプス付近でスパイクが重なる->Na+が多めに取り込まれる->NMDA受容体が感知->Ca+を取り込む->グルタミン酸受容体をシナプス付近に増やす(神経細胞B、神経細胞Aの順だと減少するので、結果±ゼロ))
• 発生確率は、偶然ではない(パターンがある：ヘブ則)
• 反回性回路(フィードバック)は重要性の多い箇所に多くある、99.99%が内部層
  海馬など

書籍にはアルツハイマー病のことも記載されているが、必要性がある場合別途記載するため、今回は割愛。

脳波でテレビの電源を消す(NextMind)

NextMindのBMI機器を使って、LGのwebOS TVを操作する

前回は↓

filot-nextd2.hatenablog.com

環境

• Unity(2020.2.1f1)
• Node-Red(1.2.7)
• Node.js(14.15.4)

Node-Redの環境を以前別のPC上に構築していたので、

今回はそちらからGETする。

BMI機器 -> Unity -> Node-Red -> TV

といった感じ。

※Unity、Node-redのインストール方法は割愛

Unity側

1. Developers resources | NextMind Dev Kit　からダウンロードできるNextMindSDK_Full.unitypackageをインポートする

2. Hierarchy ウィンドウ上で右クリック->NextMind->NeuroManagerを選択
3. NeuroManagerのInspectorウィンドウで、NeuroManager->Scene ConfigrationのSimulate device、Simulate focusのチェックを外す
4. NextMindSDKフォルダ内の、ConnectedDeviceStatus PrefabをHierarchy ウィンドウ上にドラッグ
5. Hierarchy ウィンドウ上で右クリック->3D Object->Sphereを選択
6. SphereにNeuroTagコンポーネントを設定
7. 以下のFixを選択すると、Materialに Neuro Tag Material_unlitが設定される
   

   

8. NextMindSDKフォルダ内の、TriangleFeedback PrefabをSphereの子階層にドラッグ
9. http request用に、Hierarchy ウィンドウ上でGameObjectを作成(名前をHttpRequestとかにする)
10. 作成したGameObjectに、HttpRequest用のscriptをアタッチする

    using System.Collections;
    using UnityEngine;
    using UnityEngine.Networking;
    
    public class HttpRequest : MonoBehaviour
    {
        private const string URL = "http://xxx.xxx.xxx.xxx:xxxx/turnoff";
    
        public void OnTriggerd()
        {
            StartCoroutine("OnSend", URL);
        }
    
        IEnumerator OnSend(string url)
        {
            UnityWebRequest webRequest = UnityWebRequest.Get(url);
            yield return webRequest.SendWebRequest();
    
            if (webRequest.isNetworkError)
            {
                Debug.Log(webRequest.error);
            }
            else
            {
                Debug.Log(webRequest.downloadHandler.text);
            }
        }
    } 

11. SphereのNeuroタグコンポーネント->Tracking Events->Ontriggerd()に、HttpRequest.Ontriggerdを設定
12. Hierarchy上の各オブジェクトのTransformを変更し、以下のように見えやすくする
    

    

Node-Red側

1.  node-red-contrib-lgtvパレットをインストール
2. 追加されたlgtvパレットからcontrolノードを追加
3. controlノードのプロパティ「Host」に、使用するTVのIPアドレスを入力
   

   

   
   
   
4. connectボタンをクリックすると、テレビに接続確認画面が表示されるので、はいを選択
5. Node-redの画面で追加->完了ボタンをクリック
6. templateノードを設定
   

   
   今回はテレビの電源をOFFする

7. http in ノードを追加する
   

   

8. あとはノードを並べて繋げて
9. できあがり
   
   

さて、さっそく試す

これが

こうなる。

テレビの電源消しただけだけど、脳で操る感覚、凄く楽しい。

NextMindのBMI機器で遊ぶ

NextMindのBMI機器が届いた。

www.next-mind.com

早速触ってみる。

セットアップ

↑この後ろの突起を後頭部に付けて、視覚野の電波(VEP)を拾い、

機械学習でデコードし、結果、何を見ているかを判断するとのこと。

セットアップは簡単で、

1. https://www.next-mind.com/developer/

2. ↑からNextMindSDKをダウンロード
3. あとはインストーラーを通せばOK

とても簡単。

が、その後の、計測するためのキャリブレーションと操作が、少し難しい。

何が難しいかというと、

キャリブレーション

↑後頭部に十分フィットしてるか確認するのだが、画像にあるPerfectの状態を保つためには、装着用バンドをかなり締めなければならない。

結果、突起の圧が増すため、長時間付けるのは難しかった(体感だと、頑張っても30分とか、、)

装着に苦戦するのは、東洋人は後頭部が、西洋人と比べて絶壁気味の人が多いからだろうか。。。

操作

↑注視していると、周りをまわっている3つの四角形が中心に集まり、

三角形になる、その状態が選択されている状態として認識されるとのこと。

これ、ただ見ているだけではうまくいかないこともあり、

コツをつかむために練習が必要になる。、、コツは人による？

慣れたところで、サンプルを試してみる。

サンプル

流石に選択迄に数秒必要だが、用途によっては十分だと思う。

これが$399。BMI(BCI)も、一般に知られるようになると嬉しい。

unitypackageの形でSDKを操作可能なので、

次回はそれを試す。