發展背景
上個世紀60年代，由於機器人和計算機技術的發展，人們開始研究具有視覺功能的機器人。但在這些研究中，機器人的視覺與機器人的動作，嚴格上講是開環的。機器人的視覺系統通過圖像處理，得到目標位姿，然後根據目標位姿，計算出機器運動的位姿，在整個過程中，視覺系統一次性地“提供”信息，然後就不參與過程了。在1973年，有人將視覺系統套用於機器人控制系統，在這一時期把這一過程稱作視覺反饋(visual feedback)。直到1979年，hill和park提出了“視覺伺服”(visual servo)概念。很明顯，視覺反饋的含義只是從視覺信息中提取反饋信號，而視覺伺服則是包括了從視覺信號處理，到機器人控制的全過程，所以視覺伺服比視覺反饋能更全面地反映機器人視覺和控制的有關研究內容。
上個世紀80年以來，隨著計算機技術和攝像設備的發展，機器人視覺伺服系統的技術問題吸引了眾多研究人員的注意。到了90 年代，隨著計算機能力的增強和價格下降，以及圖像處理硬體和 CCD 攝像機的快速發展，機器視覺系統吸引了眾多研究人員的注意 。去的幾年裡，機器人視覺伺服無論是在理論上還是在套用方面都取得了很大進展。在許多學術會議上，視覺伺服技術經常列為會議的一個專題。視覺伺服已逐漸發展為跨機器人、自動控制和圖像處理等技術領域的一門獨立技術。
最早基於視覺的機器人系統, 採用的是靜態look and move 形式。即先由視覺系統採集圖像並進行相應處理， 然後通過計算估計目標的位置來控制機器人運動。這種操作精度直接與視覺感測器、機械手及控制器的性能有關，這使得機器人很難跟蹤運動物體。到80年代，計算機及圖像處理硬體得到發展，使得視覺信息可用於連續反饋，於是人們提出了基於視覺的伺服( v isual servoing ) 控制形式。這種方式可以克服模型( 包括機器人、視覺系統、環境) 中存在的不確定性，提高視覺定位或跟蹤的精度。
系統分類
目前，機器人視覺伺服控制系統有以下幾種分類方式：
●按照攝像機的數目的不同，可分為單目視覺伺服系統、雙目視覺伺服系統以及多目視覺伺服系統
●按照攝像機放置位置的不同，可以分為手眼系統(eye in hand)和固定攝像機系統(eye to hand或stand alone)
●按照機器人的空間位置或圖像特徵，視覺伺服系統分為基於位置的視覺伺服系統和基於圖像的視覺伺服系統
視覺伺服所面臨的主要問題
視覺伺服的研究到目前已有近20年的歷史，但是由於視覺伺服所涉及的學科眾多，所以其發展有賴於這些學科的發展，目前在視覺伺服的研究中仍然有很多問題沒有很好地解決。
●圖像處理的方法在理論和實際計算處理速度上都是圖像伺服最大的難點；
●在圖像處理完成後，圖像特徵與機器人關節運動之間模型的建立是圖像伺服的另一難點；
●目前的許多控制方法都不能保證系統在工作時是大範圍穩定的，所以對有關控制方法的研究也是必要的。
性能特徵
視覺伺服的性能依賴於控制迴路中所用的圖像特徵。特徵包括幾何特徵和非幾何特徵，機械手視覺伺服中常見的是採用幾何特徵。早期視覺伺服中用到的多是簡單的局部幾何特徵，如點、線、圓圈、矩形、區域面積等以及它們的組合特徵，其中點特徵套用最多。局部特徵雖然得到了廣泛套用，而且在特徵選取恰當的情況下可以實現精確定位，但當特徵超出視域時則很難做出準確的操作。特別是對於真實世界中的物體，其形狀、紋理、遮擋情況、噪聲、光照條件等都會影響特徵的可見性。所以單獨利用局部特徵會影響機器人可操作的任務範圍。近來有人在視覺控制中利用全局的圖像特徵，如特徵向量，幾何矩，圖像到直線上的投影，隨機變換, Fourier描述子等。全局特徵可以避免局部特徵超出視域所帶來的問題, 也不需要在參考特徵與觀察特徵之間進行匹配，適用範圍較廣，但定位精度比用局部特徵低。總之，特徵的選取沒有通用的方法，必須針對任務、環境、系統的軟硬體性能，在時間、複雜性和系統的穩定性之間進行權衡。
值得提出的是, 伺服控制用的特徵與圖像識別用的特徵，其選擇指標有一定的差別。從圖像識別角度看，特徵應具有魯棒性和唯一性；但是從伺服的觀點看，特徵又必須對物體姿態的變化具有敏感性，即如果物體的位置和姿態發生變化，圖像的特徵必須變化。另一方面特徵必須可控，即通過一系列的控制行為能夠得到所選擇的圖像特徵。
技術展望
機器人視覺應在以下幾個方面進一步加強研究：
1) 圖像特徵的選擇問題。視覺伺服的性能密切依賴於所用的圖像特徵，特徵的選擇不僅要考慮識別的指標，還要考慮控制指標。從控制的觀點看，用冗餘特徵可抑制噪聲的影響，提高視覺伺服的性能，但又會給圖像處理增加難度。因此如何選擇性能最優的特徵，如何處理特徵以及如何評價特徵，都是需要進一步研究的問題。針對任務有時可能需要從一套特徵切換到另一套，可以考慮把全局特徵與局部特徵結合起來。
2) 結合計算機視覺及圖像處理的研究成果，建立機器人視覺系統的專用軟體庫。在視覺伺服中，需要進行圖像採集、圖像處理、特徵抽取及由二維信息重構三維信息等，要處理的數據量較大，算法複雜多樣。如果有這樣的軟體平台，在進行視覺伺服任務時，就可以少走彎路。當然更希望生產出性能價格比較高的相關硬體。
3) 加強系統的動態性能研究。目前的研究多集中於根據圖像信息確定期望的機器人運動這一環節上，而對整個視覺伺服系統的動態性能缺乏研究。
4) 利用智慧型技術的成果。雖然神經網路在機器人視覺伺服中已得到套用，但多數都是針對具體物體的具體特徵，或只進行了仿真實驗，還有待於進一步的研究。考慮到人類看到並拿起某個物體時，事先並沒有在數字上準確計算物體的位置，而是通過不斷地觀察、判斷和推理，其中包含學習和模糊推理的內容，由此可以考慮用模糊神經技術解決機器人視覺伺服問題。
5) 利用主動視覺的成果。主動視覺是當今計算機視覺和機器視覺研究領域中的一個熱門課題。它強調的是視覺系統與其所處環境之間的互動作用能力，因而有可能使被動感知方式下一些病態問題轉化為良態問題，使非線性問題轉化為線性問題。
6) 多感測器融合問題。視覺感測器具有一定的使用範圍, 如能有效地結合其它感測器，利用它們之間性能互補的優勢，便可以消除不確定性, 取得更加可靠、準確的結果。
