题主关心的是聋哑人？聋哑人用的是手语。。。
手语识别其实是一个计算图形学的问题，比如kinect团队这方面有所积累。但是这个问题其实还是很有难度的，因为手语涉及到手指语、手势语和表情的综合理解。之前在德国萨尔的MCCI（或者是DFKI？）关注过类似的研究，聋哑人和程序进行交互，程序模拟出来的手语连贯性和准确程度都会差一点，可被理解的程度大概是50-60%。
如果识别唇语的话，我觉得难度应该更大，感觉每个唇部动作的多义性更明显。
题主还提到了不同的人嗓音不同，speaker recognition还是能做的，比如只有我使用某指令可以触发某些功能，其他人不行。主要还是调调参数，看你侧重的是精确性还是易用性。
如果电脑还得一直监视唇语的话，那就得安好几个摄像头了，我觉得这样。。。挺费电的。
nuance的dragon tv会用摄像头来判断屋子里谁在说话，然后接入靠近那个人的麦克还进行语音识别并读入指令。（至少某次看他们演示了这个功能，不知道有没有完全上线）。但是通过摄像头来判断用户具体在说什么，现阶段应该不行，至少没到能实用的阶段。
