一、總述
視頻導航軟件主要包括客戶端和服務器兩部分：客戶端是遠程端，運行在岸基醫院；服務器端是本地端，運行于船上手術室。二者交互完成遠程手術過程。在不需要遠程手術指導的情況下，服務器端軟件可以獨立完成手術。
二者的大部分操作都可以通過工具欄實現，它們的初始界面如下：
圖1服務器端界面（在手術室）
圖2客戶端界面（在岸基醫院）
二者的工具欄幾乎一致，重復的地方將省略。
二、操作流程
為滿足不同手術的需求，服務器端可獨立完成立體定向手術，也可以由客戶端協助服務器端實施遠程立體定向手術。下面分別介紹二者的手術操作流程。前者的操作流程如圖3所示，后者的操作流程如圖21所示。
圖3服務器端單獨操作流程
(一)服務器獨立完成手術操作流程
當不需要遠程客戶端進行手術指導，按照服務器端的軟件操作流程可以完成所有手術過程，操作流程如下：
1.啟動，機器人初始化當打開視頻導航服務器端之后，軟件會自動打開相機，啟動視頻、視頻導航和手術導航服務，連接機器人（圖4所示）。如果啟動視頻失敗，需要檢查相機數據線是否連接正確；如果沒有連接機器人，需要檢查機器人是否打開以及電腦和機器人的網線連接是否正確。視頻、手術導航和視頻導航服務的啟動一般不會出現問題。如果視頻、手術導航或視頻導航服務的啟動出現問題，可以點擊菜單欄“通信”下拉菜單下的“啟動視頻服務”、“啟動規劃軟件服務”或“啟動視頻導航服務”的按鈕（圖5）就可以啟動相應的服務。如果windows防火墻彈出阻止啟動服務的窗口，選擇“解除阻止”即可。
圖4初始控制板顯示的提示信息
圖5各個通信服務的啟動
成功連接機器人之后，需要將機器人的2、3關節轉動到合適位置，如圖6所示，然后選擇控制板的“機器人”標簽，點擊“初始化按鈕”（圖7所示），此時軟件會提示機器人2、3關節是否在制定位置，點擊確定之后，機器人將完成初始化操作。初始化完畢之后會提示成功，否則彈出錯誤消息。
圖6機器人初始化前的二三關節姿態
圖7機器人初始化
2.標定機器人
本步操作是為了獲取攝像機和機器人兩個坐標系的關系，操作過程是，首先確定機器人周圍沒有其它障礙物，然后選擇控制板的“機器人”標簽頁面，點擊“自動標定”按鈕（圖8），機器人就開始標定。此過程大概持續20分鐘（圖9），標定完畢之后會彈出對話框，顯示機器人標定的精度，如圖10所示，這可以作為手術精度的參考。之后，機器人和攝像機的相對位置就不能發生變化了，否則后面的操作都將失效。
圖8自動標定
圖9機器人自動標定過程
圖10機器人標定結果
3.虛實融合
單擊工具欄中的“融合”按鈕（圖11所示），如果機器人不在零位，會提示將機器人歸零，確認機器人周圍沒有障礙物之后，點擊“是”，機器人將回到零位。然后，再次點擊“融合”按鈕，如果融合成功，會彈出提示，并且視頻中將出現虛擬機器人的影像，如圖12所示；如果融合失敗，會彈出提示，指示失敗的原因，一般情況下視頻融合失敗的原因是沒有找到融合Marker（圖11所示），此時需要確保攝像頭下的融合marker沒有被遮擋。
圖11工具欄“融合”按鈕
圖12機器人虛實融合成功
4.機器人復位
虛實融合成功之后，下一步執行復位操作，單擊工具欄的“復位”按鈕（圖13所示），將彈出對話框，提示（圖14所示），確認機器人周圍沒有障礙物之后，點擊“是”，執行復位指令。復位之后機器人回到避讓位置。
圖13工具欄“融合”按鈕
圖14岸基醫院的復位指令
5.將病人放到病床上
機器人復位之后，需要將機器人放大病床上，此時要保證病人頭部的四個標記點都可以被攝像頭檢測到（圖15所示）
圖15病人頭部的位置（示意圖）
6.選擇左右眼視頻中的Mark點機器人復位結束并且病人已經到達病床之后，可以選擇病人頭部的Mark點，單擊工具欄的選擇Mark按鈕，將鼠標移動到Mark點上，單擊即可選擇上。需要注意的是，左眼和右眼視頻中的mark點選擇順序要一致，同時也要和CT圖中Mark點的選擇順序一致。具體細節操作如下：
左右路視頻的切換方法：雙擊當前視頻，即可實現單雙路視頻的切換。
放大視頻的方法：在視頻中滾動鼠標的滾輪，可以放大視頻。
Mark的選擇：移動鼠標，中心對準Mark點，然后右鍵點擊即可（圖16所示）。
圖16Mark點選擇過程
7.等待接受CTMark點坐標和手術路徑
下一步就是等待接受CT圖像中Mark點坐標和手術路徑了，當收到CTMark點坐標之后，信息板中會提示受到了Mark點坐標。當視頻中的Mark點和CT圖像中的Mark點都選擇完畢后，會彈出對話框，顯示機器人和CT圖像坐標系的轉換誤差（圖17所示），這可以作為手術精度的參考。
圖17CT圖像和視頻圖像的Mark點選擇結束后的誤差提示
8.預覽位姿
預覽位姿操作用于預覽機器人手術時的姿態，只要連續點擊預覽位姿即可。一般同樣的穿刺針姿態下，機器人會存在不止一個反解位姿，此時醫生可以根據實際情況，選擇最佳的手術位姿，如圖18所示
a b
圖18預覽位姿（a：第一位姿b：第二位姿）
9.虛擬手術當確定機器人的最佳手術姿態之后，可以點擊虛擬手術令虛擬的機器人模擬真實手術時機器人運動，確保機器人運動過程安全可靠。圖19所示是虛擬手術的中間的幾個截圖。
圖19虛擬手術
10.真實手術
當確定手術可行之后，醫生可以點擊工具欄的“真實手術”按鈕，控制真實機器人運動。機器人運動最終結果如圖20所示。
圖20真實手術結束
11.機器人復位當手術結束之后，醫生就可以控制機器人回到初始位置，本部操作過程和第4步相同。
(二)遠程手術客戶端操作流程
1.連接視頻和數據
點擊客戶端控制板中的“通信”標簽，再點擊“連接視頻”按鈕，會彈出如圖22所示的對話框，將IP地址設為服務器，也就是手術室的電腦IP地址，端口號確認是9000，然后選擇確認。30秒之內，如果獲取視頻成功會彈出圖23a所示的對話框；如果獲取視頻失敗，則彈出圖24a所示對話框，此時可以點“是”重新獲取，或者點“否”，檢查IP地址和端口號是否正確后在再連接。連接數據的操作過程類似，不同的是端口號變為9001。
圖21視頻導航軟件操作流程
圖23b和圖24b分別是連接數據成功和失敗彈出的提示。
圖22客戶端連接視頻對話框圖23連接視頻和數據成功
圖24連接視頻和數據失敗
2.等待機器人標定結束
由于機器人標定時間較長，標定結束之前不能進行其他操作，所以需要客戶端等待機器人標定結束。標定過程客戶端顯示如圖25所示，標定結束之后會顯示機器人標定誤差，也就是雙目相機和機器人坐標系的轉換誤差，如圖26所示，醫生可以據此判斷手術的精度。
圖25等待機器人標定結束
圖26機器人標定結束，顯示誤差
3.虛實融合
機器人標定結束之后，下一步操作就是機器人的虛實融合，點擊工具欄的“融合”按鈕，如圖27所示。如果當前機器人不在零位，會彈出提示，告訴用戶等待機器人歸零之后，再融合，如圖28a所示，點確定即可。機器人回到零位之后，再次點擊“融合”按鈕，會彈框提示融合成功，如圖28b所示，此外視頻中會顯示出虛擬的機器人和真實的機器人疊加在一起，如圖29所示。這時可以點擊工具欄的切換按鈕，選擇虛擬模型的顯示方式，如圖30所示。
圖27虛實融合按鈕
ab
圖28虛實融合提示
圖29虛實融合結果
圖30虛實融合的顯示方式
4.機器人復位
為了讓機器人回到避讓位置，需要點擊工具欄的復位指令（圖30所示），如果機器人開始運動，會彈出對話框提示，否則彈出其它提示。
5.選擇病人頭部的Mark
機器人復位結束并且病人已經到達病床之后，可以選擇病人頭部的Mark點，單擊工具欄的選擇Mark按鈕，將鼠標移動到Mark點上，單擊即可選擇上。需要注意的是，左眼和右眼視頻中的mark點選擇順序要一致，同時也要和CT圖中Mark點的選擇順序一致。具體細節操作如下：
左右路的切換方法：單擊控制板中的通信標簽內（圖31所示），單擊左右路可以顯示左右單路或雙路視頻；單路視頻時，可以點擊“放大”\“縮小”按鈕可以改變視頻的大小；在視頻上雙擊也可以實現視頻的放大縮小。
圖31視頻類型的選擇
放大視頻的方法：在視頻中滾動鼠標的滾輪，可以放大視頻。
Mark的選擇：移動鼠標，中心對準Mark點，然后左鍵點擊即可（圖32所示）。
圖32Mark點選擇過程
6.等待接受目標手術針位姿
Mark點選擇完畢之后，下一步就是等待手術規劃軟件的數據，以計算機器人手術位姿。當工具欄的“預覽位姿”按鈕由灰色（圖30所示）變為黑色（圖33所示）時，可以進行下一步操作。
圖33“預覽位姿”按鈕可用
7.預覽位姿
預覽位姿操作用于預覽機器人手術時的姿態，只要連續點擊預覽位姿即可。一般同樣的穿刺針姿態下，機器人會存在不止一個反解位姿，此時醫生可以根據實際情況，選擇最佳的手術位姿，如圖34所示
ab
圖34預覽位姿（a：第一位姿b：第二位姿）
8.虛擬手術當確定機器人的最佳手術姿態之后，可以點擊虛擬手術令虛擬的機器人模擬真實手術時機器人運動，確保機器人運動過程安全可靠。圖35所示是虛擬手術的中間的幾個截圖。虛擬手術時同步操作，當手術時和岸基醫院都完成虛擬手術時，會彈出對話框，提示虛擬手術結束；否則會提示等待超時。
圖35虛擬手術
9.真實手術當
確定手術可行之后，醫生可以點擊工具欄的“真實手術”按鈕，控制真實機器人運動。機器人運動最終結果如圖36所示。
圖36真實手術結束
10.機器人復位
當手術結束之后，醫生就可以控制機器人回到初始位置，本部操作過程和第4步相同。
(三)遠程手術服務器端操作流程
1.啟動軟件，機器人初始化，等待連接連接
機器人和機器人的初始化操作與通信中斷時操作一致，不再詳述。
機器人初始化之后，需要切換到“信息”標簽，等待客戶端和手術規劃軟件連接，當信息板顯示“岸基醫院獲得視頻”和“岸基醫院已連接”時，說明視頻導航客戶端連接成功，可進行下一步操作。
2.標定機器人
本步操作是與通信中斷時標定機器人操作一致，不再詳述。
3.執行機器人歸零指令
此時，需要控制板切換到“信息”標簽頁，確認岸基醫院正確連接，然后開始等待岸基醫院的指令。當接收到岸基醫院的歸零指令后（圖37），首先查看機器人附近有沒有障礙物，然后點擊確認按鈕，機器人將回到零位。機器人歸零之后，當接收到岸基醫院的融合指令后，如果融合成功，視圖中會顯示機器人的虛擬模型，如圖12所示。
圖37來自岸基醫院的歸零指令
4.執行機器人復位指令
虛實融合成功之后，下一步將受到岸基醫院的復位指令，圖38所示。確認機器人周圍沒有障礙物之后，點擊“是”，執行復位指令。
圖38岸基醫院的復位指令
5.將病人放到病床上
本步操作是與通信中斷時將病人放到病床上操作一致，不再詳述。
6.等待接受CTMark點坐標和手術路徑
下一步就是等待接受CT圖像中Mark點坐標和手術路徑了，當收到CTMark點坐標之后，信息板中會提示受到了Mark點坐標。當視頻中的Mark點和CT圖像中的Mark點都選擇完畢后，會彈出對話框，顯示機器人和CT圖像坐標系的轉換誤差（圖39所示），這可以作為手術精度的參考。
圖39CT圖像和視頻圖像的Mark點選擇結束后的誤差提示
當接受到規劃手術路徑之后，控制面板的“信息”標簽會顯示“計算得到靶點坐標”。之后，岸基醫院的預覽和虛擬手術操作會同步顯示在視頻中，手術室的人員只需觀察即可。7.執行真實手術指令
當收到客戶端的真實手術指令時，手術室人員需要首先觀察當前虛擬機器人的位姿是否合適，并確保機器人周圍沒有障礙物，然后點擊確定，執行指令，真實機器人將運動到虛擬機器人位置。此過程中，工作人員需要所示看急停按按鈕，防止意外發生。真實手術結束之后場景模擬如圖40所示。
圖40真實手術結束
8.執行復位指令
當接受到岸基醫院的復位指令之后，需要確保手術已經結束且機器人周圍沒有障礙物，然后點擊確定指定機器人復位指令。
三、注意事項
(一)岸基醫院操作客戶端注意事項
1.視頻和CT圖像中的Mark點選擇完畢之后，會顯示CT圖像坐標系和雙目相機坐標系的轉換誤差，如果最大誤差超過3mm，則應該考慮手術是否可行。
2.機器人標定完畢之后，會顯示機器人坐標系和雙目相機坐標系的轉換誤差，如果最大誤差超過3mm，則應該考慮手術是否可行。
(二)船上手術室操作服務器端注意事項
1.第2、3步機器人運動控制操作過程中一定確保機器人運動范圍內不存在障礙物，否則會損害機器人。
2.機器人標定完畢之后，會顯示機器人坐標系和雙目相機坐標系的轉換誤差，如果最大誤差超過3mm，則應該考慮手術是否可行，不可行需要重新標定。
3.視頻和CT圖像中的Mark點選擇完畢之后，會顯示CT圖像坐標系和雙目相機坐標系的轉換誤差，如果最大誤差超過3mm，則應該考慮手術是否可行。
4.手術過程中，服務器端不應再進行任何機器人的運動控制操作。
5.將病人放到病床上之后，執行機器人運動控制操作時，一定要確保機器人不會對病人造成傷害。
北航資源企業