发布时间:2025-05-06 15:27:28 点击量:
HASH GAME - Online Skill Game GET 300
3、10.12.29, 审查员 舒玉 (54)发明名称 内窥镜装置以及内窥镜装置的控制方法 (57)摘要 内窥镜装置具有: 对焦控制部(347), 其进行 基于对焦评价值来将光学系统具有的对焦透镜 (220)的位置控制到对焦位置的对焦控制, 其中, 该光学系统对由摄像部(200)取得的拍摄图像的 像进行成像, 该对焦评价值是根据拍摄图像上的 第1区域而计算出的 ; 以及场景变化检测部 (346), 其根据包含与第1区域不同的区域的第2 区域来检测场景变化的有无, 对焦控制部(347) 在将对焦透镜(220)的位置控制到对焦位置时成 为待机状态, 在待机状态下, 在检测出场景变化 的情况下, 重新开。
4、始对焦控制。 权利要求书2页 说明书14页 附图10页 CN 105848558 B 2018.09.14 CN 105848558 B 1.一种内窥镜装置, 具有: 对焦控制部, 其进行根据对焦评价值将光学系统具有的对焦透镜的位置控制到对焦位 置的对焦控制, 其中, 所述光学系统对由摄像部取得的拍摄图像的像进行成像, 该对焦评价 值是根据所述拍摄图像上的第1区域而计算出的; 其特征在于, 所述内窥镜装置还具有: 场景变化检测部, 其根据所述拍摄图像上的至少包含与所述第1区域不同的区域的第2 区域来检测场景变化的有无, 所述对焦控制部在通过所述对焦控制将所述对焦透镜的位置控制到所述对焦位置后,。
5、 成为使所述对焦控制停止的待机状态, 在所述待机状态下, 在由所述场景变化检测部检测 出所述场景变化的情况下, 重新开始所述对焦控制。 2.根据权利要求1所述的内窥镜装置, 其特征在于, 所述第2区域是至少包含所述拍摄图像的周边部的区域。 3.根据权利要求1所述的内窥镜装置, 其特征在于, 所述第2区域是所述拍摄图像中的与所述第1区域不同的区域。 4.根据权利要求1所述的内窥镜装置, 其特征在于, 所述第2区域是多个块的集合, 所述内窥镜装置根据由所述光学系统成像到所述摄像部具有的摄像元件上的被摄体 像的像圈的尺寸, 来变更所述块的数量、 尺寸和配置方法中的至少1个。 5.根据权利要求4所述的。
6、内窥镜装置, 其特征在于, 根据由所述像圈确定的所述被摄体像的成像图像的形状信息, 至少变更所述第2区域 的所述块的配置方法。 6.根据权利要求1所述的内窥镜装置, 其特征在于, 根据由所述光学系统成像到所述摄像部具有的摄像元件上的被摄体像的像圈的尺寸, 变更所述第1区域的尺寸和位置中的至少一方。 7.根据权利要求1所述的内窥镜装置, 其特征在于, 在所述对焦控制部的所述对焦控制的执行中, 所述场景变化检测部使检测所述场景变 化的有无的处理停止。 8.根据权利要求1所述的内窥镜装置, 其特征在于, 在判定为在所述拍摄图像的周边部未检测出被摄体的运动的情况下, 即使在判定为在 所述拍摄图像的中央。
7、部检测出所述被摄体的运动时, 所述场景变化检测部也判定为不存在 所述场景变化。 9.根据权利要求1所述的内窥镜装置, 其特征在于, 所述第2区域是多个块的集合, 所述场景变化检测部根据多个所述块中的被摄体的运动模式与给定的基准运动模式 之间的比较处理, 来检测所述场景变化的有无。 10.根据权利要求1所述的内窥镜装置, 其特征在于, 该内窥镜装置还具有: 有效块判定部, 该有效块判定部在所述第2区域是多个块的集合 的情况下, 判定多个所述块中的各块是否有效, 所述场景变化检测部根据所述第2区域的多个所述块中的由所述有效块判定部判定为 权 利 要 求 书 1/2 页 2 CN 105848558。
8、 B 2 有效的所述块, 来检测所述场景变化的有无。 11.一种内窥镜装置的控制方法, 包括: 根据来自摄像部的拍摄图像上的第1区域来计算对焦评价值; 以及 进行根据所述对焦评价值将所述摄像部具备的光学系统的对焦透镜的位置控制到对 焦位置的对焦控制; 其特征在于, 所述控制方法还包括: 根据所述拍摄图像上的至少包含与所述第1区域不同的区域的第2区域, 来检测场景变 化的有无; 以及 在通过所述对焦控制将所述对焦透镜的位置控制到所述对焦位置从而所述对焦控制 正在停止的待机状态下, 在检测出所述场景变化的情况下, 重新开始所述对焦控制。 权 利 要 求 书 2/2 页 3 CN 105848558。
9、 B 3 内窥镜装置以及内窥镜装置的控制方法 技术领域 0001 本发明涉及内窥镜装置以及内窥镜装置的控制方法等。 背景技术 0002 在内窥镜装置(内窥镜系统)中, 为了不给用户的诊断、 处置带来妨碍, 要求尽可能 宽的景深。 但是, 近年来, 由于随着在内窥镜系统中也使用高像素的摄像元件而使其景深在 不断变窄, 所以提出了一种进行自动对焦(以下为AF)的内窥镜系统。 在现有技术中, 为了防 止动态图像摄影中的无用的对焦动作, 提出了如下的方法。 0003 在专利文献1中, 存储完成了对焦动作的状态下的AF评价值(对焦评价值), 与此相 对, 在规定阈值以上的AF评价值的变化持续了规定待机时。
10、间以上的情况下, 再次执行对焦 动作。 由此, 能够抑制过高频率地进行对焦动作的情况。 0004 在专利文献2中, 将AF区域配置于图像的中央区域, 在完成了对焦动作以后, 分别 根据当前图像和过去图像来计算图像的周边区域的类似度和图像的中央区域(AF区域)的 类似度。 图像越类似, 这里的类似度为越小的值。 而且, 在图像的周边区域的类似度为规定 阈值以上且图像的中央区域的类似度为规定阈值以下的情况下, 不进行对焦动作。 由此, 在 通过在对焦以后进行取景的变更等而使图像的周边区域的被摄体发生了变化的情况和至 位于图像的中央区域的主要被摄体的距离不发生变化的情况下, 能够抑制进行不需要的对 。
11、焦动作的情况。 0005 现有技术文献 0006 专利文献 0007 专利文献1: 日本特开号公报 0008 专利文献2: 日本特开号公报 发明内容 0009 发明所要解决的课题 0010 在内窥镜系统(尤其是外科领域)中, 用户对内窥镜进行操作使得病变部位于图像 的中央附近, 并使用电动手术刀和镊子等处置器具来进行病变的切除或缝合等处置。 因此, 在内窥镜系统中, 优选将AF区域配置于图像的中央附近。 此外, 用户为了进行处置而将视野 固定, 在完成了一次利用AF控制的对焦动作以后, 为了抑止发生非用户意图的焦点位置的 变化或由AF控制的错误动作引。
12、起的图像的模糊等的情况, 优选预先使对焦动作停止。 0011 另一方面, 如上所述, 在用户进行处置的期间, 由于对位于图像的中央附近的病变 部进行切除或缝合等, 所以在图像的中央附近发生处置器具的大幅运动或与此相伴的病变 部的位置或形状的变化。 其结果是, 在用户进行处置的期间, 图像的中央区域(AF区域)不会 成为类似的图像, AF评价值也大幅变动。 因此, 即使使用如专利文献1和专利文献2的方法, 使处置中的对焦动作停止也是困难的。 0012 根据本发明的若干个方式, 能够提供如下的内窥镜装置、 内窥镜装置的控制方法 说 明 书 1/14 页 4 CN 105848558 B 4 以及程。
13、序等: 通过使用户处置中的不需要的对焦动作停止, 抑制发生非意图的焦点位置的 变化和由AF控制的错误动作引起的图像的模糊等的情况。 0013 用于解决课题的手段 0014 本发明的一个方式涉及内窥镜装置, 该内窥镜装置具有: 对焦控制部, 其进行根据 对焦评价值来将光学系统具有的对焦透镜的位置控制到对焦位置的对焦控制, 其中, 该光 学系统对由摄像部取得的拍摄图像的像进行成像, 该对焦评价值是根据所述拍摄图像上的 第1区域而计算出的; 以及场景变化检测部, 其根据所述拍摄图像上的至少包含与所述第1 区域不同的区域的第2区域来检测场景变化的有无, 所述对焦控制部在通过所述对焦控制 将所述对焦透镜。
14、的位置控制到所述对焦位置后, 成为使所述对焦控制停止的待机状态, 在 所述待机状态下, 在由所述场景变化检测部检测出所述场景变化的情况下, 重新开始所述 对焦控制。 0015 本发明的另一个方式涉及内窥镜装置的控制方法, 该控制方法具有以下步骤: 根 据来自摄像部的拍摄图像上的第1区域来计算对焦评价值; 进行根据所述对焦评价值来将 所述摄像部具备的光学系统的对焦透镜的位置控制到对焦位置的对焦控制; 根据所述拍摄 图像上的至少包含与所述第1区域不同的区域的第2区域来检测场景变化的有无; 以及在通 过所述对焦控制将所述对焦透镜的位置控制到所述对焦位置从而所述对焦控制正在停止 的待机状态下, 在检测。
15、出所述场景变化的情况下, 重新开始所述对焦控制。 0016 本发明的另一个方式涉及程序, 其中, 该程序使计算机执行以下步骤: 根据来自摄 像部的拍摄图像上的第1区域来计算对焦评价值; 进行根据所述对焦评价值来将所述摄像 部具备的光学系统的对焦透镜的位置控制到对焦位置的对焦控制; 根据所述拍摄图像上的 至少包含与所述第1区域不同的区域的第2区域来检测场景变化的有无; 以及在通过所述对 焦控制将所述对焦透镜的位置控制到所述对焦位置从而所述对焦控制正在停止的待机状 态下, 在检测出所述场景变化的情况下, 重新开始所述对焦控制。 附图说明 0017 图1是本实施方式的内窥镜装置的结构例。 0018 。
16、图2是本实施方式的内窥镜装置的详细的结构例。 0019 图3是AF部的结构例。 0020 图4是说明第1实施方式的处理的流程图。 0021 图5的(A)是第1区域和第2区域的设定例, 图5的(B)是处置时的状况与第1、 第2区 域的关系图。 0022 图6的(A)图6的(D)是第2区域的各块中的运动向量的例子。 0023 图7的(A)、 图7的(B)是输出图像与像圈的关系图。 0024 图8是本实施方式的内窥镜装置的另一个结构例。 0025 图9是处置器具等与有效块、 无效块的关系图。 0026 图10的(A)图10的(C)是根据针对多个图像的判定结果来设定第1区域的有效块 的例子。 具体实施。
17、方式 说 明 书 2/14 页 5 CN 105848558 B 5 0027 下面, 对本实施方式进行说明。 另外, 以下说明的本实施方式并不是不当限定权利 要求范围所记载的本发明的内容。 并且, 本实施方式中说明的全部结构不一定是本发明的 必需结构要件。 0028 1.本实施方式的方法 0029 如上所述, 由于随着在内窥镜装置中也使用高像素的摄像元件而使其景深不断变 窄, 所以提出了一种进行AF的内窥镜装置。 但是, 由于在AF的执行时搜索成为对焦状态的对 焦透镜的位置并调整对焦透镜的位置, 所以会使对焦透镜的位置发生变化。 具体而言, 通过 使对焦透镜的位置向给定的方向移动并搜索对焦评。
18、价值(AF评价值)的峰值, 在对焦动作 中, 有时焦点位置发生变化, 并发生图像的模糊等。 此外, 为了使用户容易进行处置, 有时在 进行将非处置对象的活体的一部分拉伸到跟前等动作时, 会以对焦到该部分的方式变更对 焦透镜的位置, 成为处置对象的部分会模糊。 0030 即, 在用户认为无需AF的执行(对焦动作的执行)的状况下, 有可能由于执行对焦 动作反而妨碍用户的观察、 诊断、 处置等。 专利文献1和专利文献2是鉴于以上的问题而完成 的, 即使是进行AF的装置, 也根据状况进行如使对焦动作停止或者不使处于停止状态(待机 状态)的对焦动作重新开始等的控制。 0031 在本发明中, 如图5的(B。
19、)所示, 假定了从内窥镜装置的插入部(摄像部200)的前端 取出镊子等处置器具, 对活体进行一些处置的状况。 在该情况下, 由于如果最初未对焦到作 为处置对象的被摄体, 则无法适当进行处置, 所以假定了在处置开始时成为对焦状态的情 况。 此外, 在完成处置以前, 由用户(医生)进行使摄像部大幅运动等使对焦状态大幅变化的 操作的情况是难以想象的。 即, 在如图5的(B)那样进行处置的状况下, 进行对焦动作(解除 AF的待机状态)的必要性较低, 反而从抑制伴随对焦动作的模糊等的不良影响的观点来看, 也优选不进行对焦动作(使待机状态继续)。 0032 但是如上所述, 由于在用户进行处置期间, 对位于。
20、图像的中央附近的病变部进行 切除或缝合等, 所以在图像的中央附近发生处置器具的大幅运动和与此相伴的病变部的位 置和形状的变化。 因此, 即使使用如专利文献1和专利文献2的方法, 使处置中的对焦动作停 止也是困难的。 0033 尤其是, 由于成为通过AF进行对焦的对象的被摄体(以下, 记述为主要被摄体)是 成为处置的对象的被摄体, 所以对于作为处置对象的被摄体的对焦评价值的贡献度非常 高。 即, 虽然进行如图5的(B)所示的处置的状况是对焦评价值从对焦时发生大幅变化的可 能性高且不需要对焦动作的状况, 但在专利文献1的方法中执行对焦动作。 0034 此外, 专利文献2是以下方法: 如果图像中央区。
21、域类似, 则无论图像周边区域的类 似度如何(即使周边区域为不类似), 都不进行对焦动作。 在专利文献2中假定了在中央区域 拍摄主要被摄体的情况, 主要被摄体不发生变化的情况成为不进行对焦动作的条件。 但是, 如上所述, 由于处置中反倒是主要被摄体部分的变化大于其他部分, 所以在专利文献2的方 法中, 也会在不需要对焦动作的状况下执行对焦动作。 0035 因此, 本申请人提出从包含与主要被摄体不同的区域的区域中检测场景的变化的 方法。 由于主要被摄体是指成为AF的对象的被摄体, 所以适当设定成为对焦评价值的计算 对象的区域与在场景变化的检测中使用的区域之间的关系即可。 具体而言, 如图1所示, 。
22、本 实施方式的内窥镜装置具有: 对焦控制部347, 其进行根据对焦评价值来将光学系统280(与 说 明 书 3/14 页 6 CN 105848558 B 6 图2的物镜系统270对应)具有的对焦透镜(图2的对焦透镜220)的位置控制到对焦位置的对 焦控制, 其中, 该光学系统280对由摄像部200取得的拍摄图像的像进行成像, 该对焦评价值 是根据由所述拍摄图像上的第1区域计算出的; 以及场景变化检测部346, 其根据所述拍摄 图像上的至少包含与所述第1区域不同的区域的第2区域来检测场景变化的有无。 而且, 在 通过对焦控制将对焦透镜的位置控制到对焦位置后, 对焦控制部347成为使对焦控制停止。
23、 的待机状态, 在待机状态下, 在由场景变化检测部346检测出场景变化的情况下, 重新开始 对焦控制。 0036 这里, 场景变化对应于所拍摄的被摄体自身变化为不同的被摄体的情况和即使所 拍摄的被摄体相同至摄像部的距离和方向等也发生大幅变化的情况。 即, 检测出场景变化 的情况是估计为需要重新进行对焦动作的状况。 另外, 场景变化检测方法的详细情况将后 述。 来自摄像部200的拍摄图像可以是从摄像元件输出的输出图像, 也可以是从输出图像提 取出一部分的区域的图像。 例如, 在第2实施方式中, 如后所述, 在由于像圈较小而在输出图 像内产生形成被摄体像的区域和不形成被摄体的区域的情况下, 上述拍。
24、摄图像可以表示与 成像区域对应的成像图像。 0037 此外, 这里的对焦控制是指使用对焦评价值来搜索成为对焦状态的对焦透镜的位 置(对焦位置、 对焦透镜位置)的控制。 具体而言, 后述的图4的流程图的S101S104的步骤 对应于对焦控制。 但是, 本实施方式中的对焦控制广义上不仅是使对焦透镜处于对焦位置 的控制(对焦动作的控制), 还可以包含使该对焦动作待机的控制和重新开始待机中的对焦 动作的控制等。 具体而言, 后述的图4的流程图整体相当于对焦控制, 其中还可以考虑包含 S101S104的对焦动作和S201S202的待机动作。 0038 由此, 能够使用包含与第1区域不同的区域的第2区域来。
25、检测场景变化。 第1区域是 如上所述成为对焦评价值的计算对象的区域, 并成为在处置时与处置对象的被摄体对应的 区域。 因此, 能够认为通过处置而发生大幅变化的是第1区域的被摄体, 与第1区域不同的区 域的被摄体的变化(运动)较小。 即, 通过使第2区域至少包含与第1区域不同的区域, 即使在 处置对象的被摄体中存在变化, 也能够判定为整体上不存在场景变化, 并能够抑制不需要 的对焦动作的执行。 0039 另外, 在所拍摄的被摄体自身大幅变化的情况下, 与第1区域不同的区域也发生大 幅变化, 所以在本实施方式的方法中, 也能够在真正需要执行对焦动作的状况下执行对焦 动作。 0040 此外, 虽然本。
26、实施方式的内窥镜装置设置成在检测出场景变化的情况下, 解除待 机状态并重新开始对焦动作, 但是对焦动作的重新开始条件不限定于场景变化。 即, 场景变 化的检测是对焦动作的重新开始条件之一, 也可以根据其他条件重新开始对焦动作。 此外, 场景变化除了场景发生变化的检测(开始)的时机以外, 还包含场景变化检测后的该场景变 化结束的时机。 0041 此外, 在图1中将摄像部200记载于内窥镜装置的外部。 在使用了内窥镜装置的处 置中, 根据处置的内容来更换硬性镜100的情况也较多, 考虑也能够与其对应地更换摄像部 200。 由于还可以考虑在该情况下将本实施方式的进行场景变化检测处理等的装置和摄像 部。
27、200分体制造并销售, 所以本实施方式的内窥镜装置可以不包含摄像部200。 但是, 如后面 使用图2叙述那样, 本实施方式的内窥镜装置可以包含摄像部200。 说 明 书 4/14 页 7 CN 105848558 B 7 0042 以下, 对第1第3实施方式进行说明。 在第1实施方式中对基本的方法进行说明, 在第2实施方式中对考虑了像圈径的方法进行说明, 在第3实施方式中对考虑第2区域中的 块的有效无效的方法进行说明。 0043 2.第1实施方式 0044 使用图2对第1实施方式的内窥镜系统进行说明。 本实施方式的内窥镜系统具有: 作为插入体内的插入部的硬性镜100、 与硬性镜100连接的摄像。
28、部200、 处理部300、 显示部 400、 外部I/F部500和光源部600。 0045 光源部600具有: 白色光源610, 其产生白色光; 以及光导缆线, 其将来自白色光 源610的射出光引导至硬性镜100。 0046 硬性镜100具有: 透镜系统110, 其构成为包含成像透镜、 中继透镜和目镜等; 以及 光导部120, 其将来自光导缆线的射出光引导至硬性镜前端。 0047 摄像部200具有: 物镜系统270, 该物镜系统270对来自透镜系统110的射出光进行 成像。 物镜系统270构成为包含: 对焦透镜220, 其调整对焦物置; 以及变焦透镜240, 其 调整光学倍率。。
29、 摄像部200还具有: 摄像元件260, 其对由物镜系统270形成的反射光进行光 电转换而生成图像; 对焦透镜驱动部230, 其驱动对焦透镜220; 变焦透镜驱动部250, 其驱动 变焦透镜240; 以及变焦按钮210, 其调整变焦透镜位置。 对焦透镜驱动部230和变焦透镜驱 动部250是例如音圈电机(以下为VCM)。 此外, 摄像元件260是例如具有拜耳排列的滤色片的 固体摄像元件。 0048 处理部300具有: AD转换部310、 预处理部320、 图像处理部330、 AF部340和控制部 350。 AD转换部310将依次从摄像元件260输出的模拟信号转换为数字的图像, 依次输出到预 处理。
30、部320。 预处理部320对从AD转换部310输出的图像实施白平衡、 插值处理(去马赛克处 理)、 YCbCr转换处理等图像处理, 依次输出到图像处理部330和AF部340。 AF部340的详细情 况将后述。 0049 图像处理部330对从预处理部320输出的图像实施颜色转换、 灰度转换、 边缘强调、 降噪等图像处理, 依次将图像输出到显示部400。 显示部400是例如液晶监视器, 对从图像处 理部330依次输出的图像进行显示。 0050 控制部350与外部I/F部500、 图像处理部330、 AF部340、 摄像元件260和变焦按钮 210等相互连接, 进行控制信号的输入输出。 外部I/F部。
31、500是用于进行用户向内窥镜装置的 输入等的接口, 构成为包含例如用于进行AF的开始、 结束的AF按钮和用于调整图像处理的 参数的调整按钮等。 0051 接着, 使用图3对AF部340的详细情况进行说明。 AF部340包含: 场景变化检测部346 和对焦控制部347。 而且, 场景变化检测部346具有场景变化检测区域设定部341和检测处理 部342, 对焦控制部347具有AF区域设定部343、 AF评价值计算部344和AF控制部345。 0052 场景变化检测区域设定部341根据例如从控制部350输出的图像尺寸等信息, 设定 如图5的(A)所示的场景变化检测区域(与上述第2区域对应)。 然后,。
32、 场景变化检测区域设定 部341将所设定的场景变化检测区域信息输出到检测处理部342。 在本实施方式中, 在图像 中设定9个评价块, 将它们的集合作为场景变化检测区域。 这里, 被设定为场景变化检测区 域的评价块的数量当然能够任意地设定。 0053 检测处理部342根据从场景变化检测区域设定部341输出的场景变化检测区域信 说 明 书 5/14 页 8 CN 105848558 B 8 息和依次从预处理部320输出的图像来检测场景变化。 然后, 检测处理部342将表示是否检 测出场景变化的场景变化检测信息输出到AF控制部345。 场景变化的检测方法的具体情况 将后述。 0054 AF区域设定部。
33、343根据例如从控制部350输出的图像尺寸等信息, 设定如图5的(A) 所示的AF区域(与上述第1区域对应)。 然后, AF区域设定部343将所设定的AF区域信息输出 到AF评价值计算部344。 在本实施方式中为了使说明简单, 将与被设定为场景变化检测区域 的多个评价块中的位于中央的评价块相同的区域作为AF区域。 由于实际上评价块和AF区域 无需是相同的尺寸, 所以将与评价块完全不同的大小的区域设定在图像的中央附近, 作为 AF区域。 0055 AF评价值计算部344根据从AF区域设定部343输出的AF区域信息和依次从预处理 部320输出的图像来依次计算AF评价值。 这里, 例如, 对包含在A。
34、F区域中的全部像素的Y信号 进行任意的BPF(带通滤波)处理, 将其输出的总和作为AF评价值即可。 然后, AF评价值计算 部344将计算出的AF评价值依次输出到AF控制部345。 0056 AF控制部345根据从检测处理部342输出的场景变化检测信息和从AF评价值计算 部344输出的AF评价值来控制对焦透镜, 由此进行AF。 对焦透镜驱动部230根据从AF控制部 345输出的对焦透镜的控制信号来驱动对焦透镜。 0057 这里, 使用图4对AF控制部345的详细情况进行说明。 在开始AF后, AF控制部345首 先开始对焦动作。 这里, 首先, AF控制部345以使用公知的峰值检测和利用颤动的。
35、峰值方向 判定等方法进行对焦动作的方式驱动对焦透镜(S101), 取得从AF评价值计算部344输出的 AF评价值(S102)。 接着, AF控制部345通过进行公知的对焦判定处理等, 进行是否完成了对 焦的判断(S103)。 接着, AF控制部345在未完成对焦的情况下重复S101以后的动作, 在完成 了对焦的情况下结束对焦动作(S104)。 0058 在结束了对焦动作的情况下, AF控制部345开始待机动作。 在开始待机动作后, 首 先, AF控制部345取得从检测处理部342输出的场景变化检测信息(S201)。 接着, AF控制部 345在未检测出场景变化的情况下重复S201及以后的动作,。
36、 在检测出场景变化的情况下结 束待机动作(S202)。 另外, 这里虽然未图示, 但是在长时间持续发生场景变化的情况下, AF 控制部345可以进行例如等待场景变化的结束而结束待机动作的控制。 在结束了待机动作 的情况下, AF控制部345重新开始对焦动作。 另外, 在执行待机动作期间, AF控制部345例如 将对焦透镜的位置固定于结束了对焦动作时的位置, 不进行对焦透镜的驱动。 0059 这里, 使用图5的(B)对AF控制部345进行这样的控制的理由进行说明。 图5的(B)是 表示在用户进行处置期间由内窥镜系统取得的代表性图像的图。 如上所述, 用户使用电动 手术刀或镊子等处置器具对位于图像。
37、的中央附近的病变部进行病变的切除或缝合等处置。 因此, 在处置中, 在图像的中央附近, 图像的变化最大。 另一方面, 在用户进行处置期间, 将 视野固定, 并且几乎不对图像的周边附近进行处置, 所以在图像的周边附近, 图像的变化比 较小。 0060 在本实施方式中, 如图5的(A)所示, 将包含图像的周边附近的区域设定为场景变 化检测区域, 使用从该区域取得的信息来检测场景变化, 据此进行对焦动作的开始(重新开 始)控制。 通过进行这样的控制, 使在用户进行处置期间(场景未发生变化的期间)的不需要 的对焦动作停止, 能够仅在场景发生变化且实际上需要对焦动作的情况下重新开始对焦动 说 明 书 6。
38、/14 页 9 CN 105848558 B 9 作。 0061 这里, 对检测处理部342的场景变化的检测方法进行说明。 检测处理部342例如首 先对于被设定为场景变化检测区域的多个块bi, 全部根据当前的图像来计算块的平均亮 度b_Yin并存储到未图示的存储器中。 这里, i表示与所设定的各个块对应的块编号。 在 本实施方式中, 由于所设定的块的数量是9个, 所以i取0到8的值。 此外, n表示取得图像的时 机。 0062 接着, 检测处理部342使用例如下式(1)来计算场景变化检测的评价值V。 这里, b_Y inx是根据在当前的图像的x帧之前取得的图像而计算出的各块的平均亮度。 这里,。
39、 x 是任意的数量。 0063 0064 根据上式(1)可知, V被计算为根据当前图像而计算出的各评价块的平均亮度与根 据过去取得的图像而计算出的各评价块的平均亮度之差的绝对值的总和。 因此, 当前的图 像与在x帧之前取得的图像的差异越大, V越取较大的值。 0065 接着, 检测处理部342使用计算出的V来进行是否发生了场景变化的判定。 例如, 在 V超过规定阈值的情况下, 检测处理部342判定为发生了场景变化。 此外, 例如, 在连续输入 了任意次数以上V超过了规定阈值的图像的情况下, 检测处理部342可以判定为发生了场景 变化。 并且, 例如在发生了一次场景变化以后, 在连续输入了任意次。
40、数以上V为规定阈值以 下的图像的情况下, 检测处理部342可以判定为结束了场景变化。 接着, 检测处理部342将该 判定结果输出到AF控制部345, 作为场景变化检测信息。 0066 另外, 这里, 虽然使用平均亮度作为用于检测场景变化的特征量, 但是实际上不限 于此, 例如, 只要是评价块的平均的颜色信息或根据评价块而计算的AF评价值等能够检测 图像的变化的特征量, 则可以使用任何种类。 0067 此外, 如上所述, 在内窥镜系统中, 在用户进行处置期间, 在图像的中央附近, 图像 的变化最大。 因此, 如图6的(A)所示, 可以将除图像的中央以外的区域设定为场景变化检测 区域, 进行与上述。
41、同样的判定处理并检测场景变化。 0068 此外, 检测处理部342可以使用各评价块的运动向量来检测场景变化。 在该情况 下, 首先, 检测处理部342针对全部评价块, 使用公知的技术来计算运动向量。 接着, 使用各 评价块的运动向量的计算结果来判定场景是否发生了变化。 具体而言, 例如在用户使硬性 镜100向左方向摆动, 并变更了要观察的被摄体的位置的情况下, 各评价块的运动向量如图 6的(B)那样。 此外, 例如在用户使硬性镜接近被摄体的情况下, 各评价块的运动向量如图6 的(C)那样。 此外, 例如在用户使硬性镜远离被摄体的情况下, 各评价块的运动向量如图6的 (D)那样。 因此, 在各评。
42、价块的运动向量示出这样的举动的情况下, 检测处理部342判定为发 生了场景变化。 此外, 例如在连续输出了任意次数以上被视作场景变化的图像的情况下, 检 测处理部342可以判定为发生了场景变化。 并且, 例如在发生了一次场景变化以后, 在连续 输入了任意次数以上未被视作场景变化的图像的情况下, 检测处理部342可以判定为结束 了场景变化。 通过进行这样的处理, 能够不受被摄体或处置器具等的局部的运动的干扰, 高 精度地检测场景变化。 0069 通过进行这样的控制, 本实施方式的内窥镜系统能够抑制在用户进行处置期间的 说 明 书 7/14 页 10 CN 105848558 B 10 非意图的焦。
43、点位置的变化和由AF控制的错误动作引起的图像的模糊等的发生, 能够实现对 用户来说使用便利性良好的AF控制功能。 0070 在以上的本实施方式中, 如图5的(A)或图6的(A)所示, 第2区域(场景变化检测区 域)可以是至少包含拍摄图像的周边部的区域。 0071 如果是图5的(A)的例子, 则第2区域是包含拍摄图像的中央部和周边部(周缘部) 的区域, 如果是图6的(A)的例子, 则第2区域是包含拍摄图像的周边部且不包含中央部的区 域。 另外, 周边部表示比中央部更远离图像的中心的拍摄图像中的部分, 关于如何设定周边 部和中央部的边界能够进行各种变形实施。 例如, 关于这里的中央部, 如图5的(。
44、B)所示, 是 成为拍摄有处置对象的被摄体、 即对用户来说关注程度较高的主要被摄体的区域, 所以可 以根据相对于整个图像以何种程度的比例拍摄有主要被摄体才容易进行处置这样的观点 来进行设定。 在该情况下, 各用户可以输入符合自身喜好的值, 也可以预先存储典型的值并 使用该值。 0072 如上所述, 关于拍摄图像的周边部, 由于假定拍摄有与处置对象不同的被摄体(除 主要被摄体以外的被摄体)的情况, 所以在处置中被摄体的变化也较小。 因此, 通过将包含 周边部的区域用作第2区域, 也能够在处置中不检测场景变化, 且不进行对焦动作。 0073 另外, 在第2实施方式中, 如后所述, 根据像圈的尺寸的。
45、不同, 有时仅在摄像元件的 输出图像的一部分上形成被摄体像。 在该情况下, 即使将输出图像中的除形成被摄体像的 成像区域以外的区域包含在第2区域中, 在该区域中, 在任何状况下都不发生变化, 所以在 场景变化检测中是没用的。 因此, 这里的拍摄图像狭义上可以表示形成被摄体像的成像图 像。 0074 此外, 如图6的(A)所示, 第2区域可以是拍摄图像中的与第1区域(AF区域)不同的 区域。 0075 第1区域是指成为AF的对象的区域, 假定如上所述拍摄有主要被摄体的情况。 因 此, 成为在处置时变化较大的区域。 为了在处置时不进行无用的对焦动作, 优选在第2区域 中, 在处置时变化较少。 即,。
46、 通过将与变化较大的第1区域不同的区域作为第2区域, 能够提 高场景变化检测的精度。 0076 另外, 拍摄图像中的与第1区域不同的区域无需是拍摄图像中的除第1区域以外的 全部区域, 如图6的(A)、 后述的图7的(A)和图7的(B)所示, 也可以在图像(成像图像)中存在 既不是第1区域且也不是第2区域的区域。 此外, 第1区域和第2区域 “不同” 可以认为是第1区 域与第2区域不一致的情况。 在该情况下, 可以具有第1区域与第2区域重叠的区域, 不限定 于图6的(A)等那样不具有重叠区域的情况。 如图5的(A)所示, 具有重叠区域的情况典型是 第2区域包含第1区域的情况。 0077 此外, 。
47、在对焦控制部347的对焦控制的执行中, 场景变化检测部346可以使检测场 景变化的有无的处理停止。 这里的对焦控制是指与上面描述的对焦动作(图4的流程图中的 S101S104)的控制对应的控制, 在S201S202中, 并不是使场景变化的有无的检测处理停 止的控制。 即, 也可换言之, 场景变化检测部346在对焦控制部347的对焦动作的执行中, 使 检测场景变化的有无的处理停止。 0078 由此, 由于可以在对焦动作中不进行场景变化检测, 所以能够减轻处理负荷。 在进 行一次对焦动作且焦点对准了被摄体的情况下, 如果之后被摄体与摄像部200的相对位置 说 明 书 8/14 页 11 CN 10。
48、5848558 B 11 关系等不发生变化, 则产生模糊的可能性较低。 在本实施方式中, 如图4所示, 也在完成了对 焦的情况下, 从对焦动作转移到待机动作。 而且, 本实施方式中的场景变化的检测处理相当 于以下处理: 判定是否为即使使用以前的对焦动作的结果也不会成为对焦状态而需要进行 再次的对焦动作的情况。 即, 由于将检测场景变化的处理用作对焦动作重新开始(执行)的 触发的情况较典型, 所以如果已经是正在执行对焦动作, 则进行场景变化检测的必要性较 低, 通过使场景变化检测停止, 能够有效减轻处理负荷。 另外, 在本实施方式中, 由于假定了 动态图像的拍摄, 所以AF狭义上是全时AF, 场。
49、景变化检测处理是正在停止的对焦动作的 “重 新开始” 的触发。 如果如静态图像拍摄那样AF狭义上是单点AF, 则场景变化检测成为第2次 (或者第3次以后)的对焦动作的 “执行” 的触发。 0079 此外, 在判定为在拍摄图像的周边部未检测出被摄体的运动的情况下, 即使在判 定为在拍摄图像的中央部检测出被摄体的运动时, 场景变化检测部346也可以判定为不存 在场景变化。 0080 例如图6的(B)图6的(D)那样, 这里的运动检测可以使用运动向量。 如上所述, 在 处置时, 图像中央部(例如与图6的(A)的AF区域对应的部分)的运动较大, 周边部(图6的(A) 的场景变化检测区域)的运动较小。 如果是以往的方法, 则会在中央部的运动较大的情况下 判定为存在场景变化, 但是如果这样, 则能够抑制在处置时错误判定为存在场景变化的可 能性。 另外, 这里的运动的未检测不限定于运动是0的情况。 可以充分考虑通过对中央部的 被摄体进行处置而。
内窥镜装置具有:对焦控制部(347),其进行基于对焦评价值来将光学系统具有的对焦透镜(220)的位置控制到对焦位置的对焦控制,其中,该光学系统对由摄像部(200)取得的拍摄图像的像进行成像,该对焦评价值是根据拍摄图像上的第1区域而计算出的;以及场景变化检测部(346),其根据包含与第1区域不同的区域的第2区域来检测场景变化的有无,对焦控制部(347)在将对焦透镜(220)的位置控制到对焦位置时成为待机状态,在待机状态下,在检测出场景变化的情况下,重新开始对焦控制。
1.一种内窥镜装置,具有:对焦控制部,其进行根据对焦评价值将光学系统具有的对焦透镜的位置控制到对焦位置的对焦控制,其中,所述光学系统对由摄像部取得的拍摄图像的像进行成像,该对焦评价值是根据所述拍摄图像上的第1区域而计算出的;其特征在于,所述内窥镜装置还具有:场景变化检测部,其根据所述拍摄图像上的至少包含与所述第1区域不同的区域的第2区域来检测场景变化的有无,所述对焦控制部在通过所述对焦控制将所述对焦透镜的位置控制到所述对焦位置后,成为使所述对焦控制停止的待机状态,在所述待机状态下,在由所述场景变化检测部检测出所述场景变化的情况下,重新开始所述对焦控制。 2.根据权利要求1所述的内窥镜装置,其特征在于,所述第2区域是至少包含所述拍摄图像的周边部的区域。 3.根据权利要求1所述的内窥镜装置,其特征在于,所述第2区域是所述拍摄图像中的与所述第1区域不同的区域。 4.根据权利要求1所述的内窥镜装置,其特征在于,所述第2区域是多个块的集合,所述内窥镜装置根据由所述光学系统成像到所述摄像部具有的摄像元件上的被摄体像的像圈的尺寸,来变更所述块的数量、尺寸和配置方法中的至少1个。 5.根据权利要求4所述的内窥镜装置,其特征在于,根据由所述像圈确定的所述被摄体像的成像图像的形状信息,至少变更所述第2区域的所述块的配置方法。 6.根据权利要求1所述的内窥镜装置,其特征在于,根据由所述光学系统成像到所述摄像部具有的摄像元件上的被摄体像的像圈的尺寸,变更所述第1区域的尺寸和位置中的至少一方。 7.根据权利要求1所述的内窥镜装置,其特征在于,在所述对焦控制部的所述对焦控制的执行中,所述场景变化检测部使检测所述场景变化的有无的处理停止。 8.根据权利要求1所述的内窥镜装置,其特征在于,在判定为在所述拍摄图像的周边部未检测出被摄体的运动的情况下,即使在判定为在所述拍摄图像的中央部检测出所述被摄体的运动时,所述场景变化检测部也判定为不存在所述场景变化。 9.根据权利要求1所述的内窥镜装置,其特征在于,所述第2区域是多个块的集合,所述场景变化检测部根据多个所述块中的被摄体的运动模式与给定的基准运动模式之间的比较处理,来检测所述场景变化的有无。 10.根据权利要求1所述的内窥镜装置,其特征在于,该内窥镜装置还具有:有效块判定部,该有效块判定部在所述第2区域是多个块的集合的情况下,判定多个所述块中的各块是否有效,所述场景变化检测部根据所述第2区域的多个所述块中的由所述有效块判定部判定为有效的所述块,来检测所述场景变化的有无。 11.一种内窥镜装置的控制方法,包括:根据来自摄像部的拍摄图像上的第1区域来计算对焦评价值;以及进行根据所述对焦评价值将所述摄像部具备的光学系统的对焦透镜的位置控制到对焦位置的对焦控制;其特征在于,所述控制方法还包括:根据所述拍摄图像上的至少包含与所述第1区域不同的区域的第2区域,来检测场景变化的有无;以及在通过所述对焦控制将所述对焦透镜的位置控制到所述对焦位置从而所述对焦控制正在停止的待机状态下,在检测出所述场景变化的情况下,重新开始所述对焦控制。
在专利文献2中,将AF区域配置于图像的中央区域,在完成了对焦动作以后,分别根据当前图像和过去图像来计算图像的周边区域的类似度和图像的中央区域(AF区域)的类似度。图像越类似,这里的类似度为越小的值。而且,在图像的周边区域的类似度为规定阈值以上且图像的中央区域的类似度为规定阈值以下的情况下,不进行对焦动作。由此,在通过在对焦以后进行取景的变更等而使图像的周边区域的被摄体发生了变化的情况和至位于图像的中央区域的主要被摄体的距离不发生变化的情况下,能够抑制进行不需要的对焦动作的情况。
本发明的一个方式涉及内窥镜装置,该内窥镜装置具有:对焦控制部,其进行根据对焦评价值来将光学系统具有的对焦透镜的位置控制到对焦位置的对焦控制,其中,该光学系统对由摄像部取得的拍摄图像的像进行成像,该对焦评价值是根据所述拍摄图像上的第1区域而计算出的;以及场景变化检测部,其根据所述拍摄图像上的至少包含与所述第1区域不同的区域的第2区域来检测场景变化的有无,所述对焦控制部在通过所述对焦控制将所述对焦透镜的位置控制到所述对焦位置后,成为使所述对焦控制停止的待机状态,在所述待机状态下,在由所述场景变化检测部检测出所述场景变化的情况下,重新开始所述对焦控制。
本发明的另一个方式涉及内窥镜装置的控制方法,该控制方法具有以下步骤:根据来自摄像部的拍摄图像上的第1区域来计算对焦评价值;进行根据所述对焦评价值来将所述摄像部具备的光学系统的对焦透镜的位置控制到对焦位置的对焦控制;根据所述拍摄图像上的至少包含与所述第1区域不同的区域的第2区域来检测场景变化的有无;以及在通过所述对焦控制将所述对焦透镜的位置控制到所述对焦位置从而所述对焦控制正在停止的待机状态下,在检测出所述场景变化的情况下,重新开始所述对焦控制。
本发明的另一个方式涉及程序,其中,该程序使计算机执行以下步骤:根据来自摄像部的拍摄图像上的第1区域来计算对焦评价值;进行根据所述对焦评价值来将所述摄像部具备的光学系统的对焦透镜的位置控制到对焦位置的对焦控制;根据所述拍摄图像上的至少包含与所述第1区域不同的区域的第2区域来检测场景变化的有无;以及在通过所述对焦控制将所述对焦透镜的位置控制到所述对焦位置从而所述对焦控制正在停止的待机状态下,在检测出所述场景变化的情况下,重新开始所述对焦控制。
如上所述,由于随着在内窥镜装置中也使用高像素的摄像元件而使其景深不断变窄,所以提出了一种进行AF的内窥镜装置。但是,由于在AF的执行时搜索成为对焦状态的对焦透镜的位置并调整对焦透镜的位置,所以会使对焦透镜的位置发生变化。具体而言,通过使对焦透镜的位置向给定的方向移动并搜索对焦评价值(AF评价值)的峰值,在对焦动作中,有时焦点位置发生变化,并发生图像的模糊等。此外,为了使用户容易进行处置,有时在进行将非处置对象的活体的一部分拉伸到跟前等动作时,会以对焦到该部分的方式变更对焦透镜的位置,成为处置对象的部分会模糊。
在本发明中,如图5的(B)所示,假定了从内窥镜装置的插入部(摄像部200)的前端取出镊子等处置器具,对活体进行一些处置的状况。在该情况下,由于如果最初未对焦到作为处置对象的被摄体,则无法适当进行处置,所以假定了在处置开始时成为对焦状态的情况。此外,在完成处置以前,由用户(医生)进行使摄像部大幅运动等使对焦状态大幅变化的操作的情况是难以想象的。即,在如图5的(B)那样进行处置的状况下,进行对焦动作(解除AF的待机状态)的必要性较低,反而从抑制伴随对焦动作的模糊等的不良影响的观点来看,也优选不进行对焦动作(使待机状态继续)。
因此,本申请人提出从包含与主要被摄体不同的区域的区域中检测场景的变化的方法。由于主要被摄体是指成为AF的对象的被摄体,所以适当设定成为对焦评价值的计算对象的区域与在场景变化的检测中使用的区域之间的关系即可。具体而言,如图1所示,本实施方式的内窥镜装置具有:对焦控制部347,其进行根据对焦评价值来将光学系统280(与图2的物镜系统270对应)具有的对焦透镜(图2的对焦透镜220)的位置控制到对焦位置的对焦控制,其中,该光学系统280对由摄像部200取得的拍摄图像的像进行成像,该对焦评价值是根据由所述拍摄图像上的第1区域计算出的;以及场景变化检测部346,其根据所述拍摄图像上的至少包含与所述第1区域不同的区域的第2区域来检测场景变化的有无。而且,在通过对焦控制将对焦透镜的位置控制到对焦位置后,对焦控制部347成为使对焦控制停止的待机状态,在待机状态下,在由场景变化检测部346检测出场景变化的情况下,重新开始对焦控制。
这里,场景变化对应于所拍摄的被摄体自身变化为不同的被摄体的情况和即使所拍摄的被摄体相同至摄像部的距离和方向等也发生大幅变化的情况。即,检测出场景变化的情况是估计为需要重新进行对焦动作的状况。另外,场景变化检测方法的详细情况将后述。来自摄像部200的拍摄图像可以是从摄像元件输出的输出图像,也可以是从输出图像提取出一部分的区域的图像。例如,在第2实施方式中,如后所述,在由于像圈较小而在输出图像内产生形成被摄体像的区域和不形成被摄体的区域的情况下,上述拍摄图像可以表示与成像区域对应的成像图像。
此外,这里的对焦控制是指使用对焦评价值来搜索成为对焦状态的对焦透镜的位置(对焦位置、对焦透镜位置)的控制。具体而言,后述的图4的流程图的S101~S104的步骤对应于对焦控制。但是,本实施方式中的对焦控制广义上不仅是使对焦透镜处于对焦位置的控制(对焦动作的控制),还可以包含使该对焦动作待机的控制和重新开始待机中的对焦动作的控制等。具体而言,后述的图4的流程图整体相当于对焦控制,其中还可以考虑包含S101~S104的对焦动作和S201~S202的待机动作。
由此,能够使用包含与第1区域不同的区域的第2区域来检测场景变化。第1区域是如上所述成为对焦评价值的计算对象的区域,并成为在处置时与处置对象的被摄体对应的区域。因此,能够认为通过处置而发生大幅变化的是第1区域的被摄体,与第1区域不同的区域的被摄体的变化(运动)较小。即,通过使第2区域至少包含与第1区域不同的区域,即使在处置对象的被摄体中存在变化,也能够判定为整体上不存在场景变化,并能够抑制不需要的对焦动作的执行。
摄像部200具有:物镜系统270,该物镜系统270对来自透镜系统110的射出光进行成像。物镜系统270构成为包含:对焦透镜220,其调整对焦物置;以及变焦透镜240,其调整光学倍率。摄像部200还具有:摄像元件260,其对由物镜系统270形成的反射光进行光电转换而生成图像;对焦透镜驱动部230,其驱动对焦透镜220;变焦透镜驱动部250,其驱动变焦透镜240;以及变焦按钮210,其调整变焦透镜位置。对焦透镜驱动部230和变焦透镜驱动部250是例如音圈电机(以下为VCM)。此外,摄像元件260是例如具有拜耳排列的滤色片的固体摄像元件。
AF区域设定部343根据例如从控制部350输出的图像尺寸等信息,设定如图5的(A)所示的AF区域(与上述第1区域对应)。然后,AF区域设定部343将所设定的AF区域信息输出到AF评价值计算部344。在本实施方式中为了使说明简单,将与被设定为场景变化检测区域的多个评价块中的位于中央的评价块相同的区域作为AF区域。由于实际上评价块和AF区域无需是相同的尺寸,所以将与评价块完全不同的大小的区域设定在图像的中央附近,作为AF区域。
这里,使用图4对AF控制部345的详细情况进行说明。在开始AF后,AF控制部345首先开始对焦动作。这里,首先,AF控制部345以使用公知的峰值检测和利用颤动的峰值方向判定等方法进行对焦动作的方式驱动对焦透镜(S101),取得从AF评价值计算部344输出的AF评价值(S102)。接着,AF控制部345通过进行公知的对焦判定处理等,进行是否完成了对焦的判断(S103)。接着,AF控制部345在未完成对焦的情况下重复S101以后的动作,在完成了对焦的情况下结束对焦动作(S104)。
在结束了对焦动作的情况下,AF控制部345开始待机动作。在开始待机动作后,首先,AF控制部345取得从检测处理部342输出的场景变化检测信息(S201)。接着,AF控制部345在未检测出场景变化的情况下重复S201及以后的动作,在检测出场景变化的情况下结束待机动作(S202)。另外,这里虽然未图示,但是在长时间持续发生场景变化的情况下,AF控制部345可以进行例如等待场景变化的结束而结束待机动作的控制。在结束了待机动作的情况下,AF控制部345重新开始对焦动作。另外,在执行待机动作期间,AF控制部345例如将对焦透镜的位置固定于结束了对焦动作时的位置,不进行对焦透镜的驱动。
这里,使用图5的(B)对AF控制部345进行这样的控制的理由进行说明。图5的(B)是表示在用户进行处置期间由内窥镜系统取得的代表性图像的图。如上所述,用户使用电动手术刀或镊子等处置器具对位于图像的中央附近的病变部进行病变的切除或缝合等处置。因此,在处置中,在图像的中央附近,图像的变化最大。另一方面,在用户进行处置期间,将视野固定,并且几乎不对图像的周边附近进行处置,所以在图像的周边附近,图像的变化比较小。
接着,检测处理部342使用计算出的V来进行是否发生了场景变化的判定。例如,在V超过规定阈值的情况下,检测处理部342判定为发生了场景变化。此外,例如,在连续输入了任意次数以上V超过了规定阈值的图像的情况下,检测处理部342可以判定为发生了场景变化。并且,例如在发生了一次场景变化以后,在连续输入了任意次数以上V为规定阈值以下的图像的情况下,检测处理部342可以判定为结束了场景变化。接着,检测处理部342将该判定结果输出到AF控制部345,作为场景变化检测信息。
此外,检测处理部342可以使用各评价块的运动向量来检测场景变化。在该情况下,首先,检测处理部342针对全部评价块,使用公知的技术来计算运动向量。接着,使用各评价块的运动向量的计算结果来判定场景是否发生了变化。具体而言,例如在用户使硬性镜100向左方向摆动,并变更了要观察的被摄体的位置的情况下,各评价块的运动向量如图6的(B)那样。此外,例如在用户使硬性镜接近被摄体的情况下,各评价块的运动向量如图6的(C)那样。此外,例如在用户使硬性镜远离被摄体的情况下,各评价块的运动向量如图6的(D)那样。因此,在各评价块的运动向量示出这样的举动的情况下,检测处理部342判定为发生了场景变化。此外,例如在连续输出了任意次数以上被视作场景变化的图像的情况下,检测处理部342可以判定为发生了场景变化。并且,例如在发生了一次场景变化以后,在连续输入了任意次数以上未被视作场景变化的图像的情况下,检测处理部342可以判定为结束了场景变化。通过进行这样的处理,能够不受被摄体或处置器具等的局部的运动的干扰,高精度地检测场景变化。
如果是图5的(A)的例子,则第2区域是包含拍摄图像的中央部和周边部(周缘部)的区域,如果是图6的(A)的例子,则第2区域是包含拍摄图像的周边部且不包含中央部的区域。另外,周边部表示比中央部更远离图像的中心的拍摄图像中的部分,关于如何设定周边部和中央部的边界能够进行各种变形实施。例如,关于这里的中央部,如图5的(B)所示,是成为拍摄有处置对象的被摄体、即对用户来说关注程度较高的主要被摄体的区域,所以可以根据相对于整个图像以何种程度的比例拍摄有主要被摄体才容易进行处置这样的观点来进行设定。在该情况下,各用户可以输入符合自身喜好的值,也可以预先存储典型的值并使用该值。
另外,拍摄图像中的与第1区域不同的区域无需是拍摄图像中的除第1区域以外的全部区域,如图6的(A)、后述的图7的(A)和图7的(B)所示,也可以在图像(成像图像)中存在既不是第1区域且也不是第2区域的区域。此外,第1区域和第2区域“不同”可以认为是第1区域与第2区域不一致的情况。在该情况下,可以具有第1区域与第2区域重叠的区域,不限定于图6的(A)等那样不具有重叠区域的情况。如图5的(A)所示,具有重叠区域的情况典型是第2区域包含第1区域的情况。
由此,由于可以在对焦动作中不进行场景变化检测,所以能够减轻处理负荷。在进行一次对焦动作且焦点对准了被摄体的情况下,如果之后被摄体与摄像部200的相对位置关系等不发生变化,则产生模糊的可能性较低。在本实施方式中,如图4所示,也在完成了对焦的情况下,从对焦动作转移到待机动作。而且,本实施方式中的场景变化的检测处理相当于以下处理:判定是否为即使使用以前的对焦动作的结果也不会成为对焦状态而需要进行再次的对焦动作的情况。即,由于将检测场景变化的处理用作对焦动作重新开始(执行)的触发的情况较典型,所以如果已经是正在执行对焦动作,则进行场景变化检测的必要性较低,通过使场景变化检测停止,能够有效减轻处理负荷。另外,在本实施方式中,由于假定了动态图像的拍摄,所以AF狭义上是全时AF,场景变化检测处理是正在停止的对焦动作的“重新开始”的触发。如果如静态图像拍摄那样AF狭义上是单点AF,则场景变化检测成为第2次(或者第3次以后)的对焦动作的“执行”的触发。
例如图6的(B)~图6的(D)那样,这里的运动检测可以使用运动向量。如上所述,在处置时,图像中央部(例如与图6的(A)的AF区域对应的部分)的运动较大,周边部(图6的(A)的场景变化检测区域)的运动较小。如果是以往的方法,则会在中央部的运动较大的情况下判定为存在场景变化,但是如果这样,则能够抑制在处置时错误判定为存在场景变化的可能性。另外,这里的运动的未检测不限定于运动是0的情况。可以充分考虑通过对中央部的被摄体进行处置而使周边部的被摄体也较小运动的情况,还可以考虑由于抖动等使摄像部200发生运动或者根据被摄体的部位的不同而由于搏动或蠕动等发生运动的情况。这样的运动是较小的运动,不是需要对焦动作的状况,不应判定为检测出场景变化。因此,例如,使用如下方法即可:设定能够识别与需要如图6的(B)~图6的(D)的对焦动作的状况对应的较大的运动和上述较小的运动的运动阈值,如果运动量小于该运动阈值则判定为未检测出运动,如果运动量为运动阈值以上则判定为检测出运动。
这样,如果预先存储摄像部200的典型的移动和与该移动对应的基准运动模式,则在实际测量时检测出与基准运动模式同样的运动模式的情况下,能够判定为存在与该基准运动模式对应的摄像部200的运动。如图6的(B)~图6的(D)那样,通过预先存储与摄像部200大幅移动且需要对焦动作的重新开始的状况、即应作为场景变化的状况对应的基准运动模式,能够通过与该基准运动模式之间的比较处理,根据运动模式来检测场景变化的有无。
另外,本实施方式的内窥镜装置等可以利用程序来实现其处理的一部分或者大部分。在该情况下,通过使CPU等处理器执行程序,实现本实施方式的内窥镜装置等。具体而言,读出信息存储装置所存储的程序,由CPU等处理器执行所读出的程序。这里,信息存储装置(可通过计算机读取的装置)是存储程序和数据等的装置,其功能能够通过光盘(DVD、CD等)、HDD(硬盘驱动器)或者存储器(卡型存储器、ROM等)等实现。而且,CPU等处理器根据信息存储装置所存储的程序(数据)来进行本实施方式的各种处理。即,在信息存储装置中存储用于使计算机(具有操作部、处理部、存储部、输出部的装置)作为本实施方式的各部分发挥功能的程序(用于使计算机执行各部分的处理的程序)。
此外,本实施方式的内窥镜装置等可以包含处理器和存储器。这里的处理器可以是例如CPU(Central Processing Unit:中央处理器)。但是,处理器不限定于CPU,可以使用GPU(graphics processing unit:图形处理单元)和DSP(digital signal processor:数字信号处理器)等各种处理器。此外,处理器可以是由ASIC构成的硬件电路。此外,存储器存储可通过计算机读取的指令,通过利用处理器执行该指令,实现本实施方式的内窥镜装置等的各部分。这里的存储器可以是SRAM、DRAM等半导体存储器,也可以是寄存器和硬盘等。此外,这里的指令可以是构成程序的指令集的指令,也可以是对处理器的硬件电路指示动作的指令。
在本实施方式的内窥镜系统中,在摄像元件260上成像的被摄体像的像圈径根据例如与摄像部200连接的硬性镜100的种类和由变焦透镜240的位置确定的物镜系统270的光学倍率而发生变化。图7的(A)是示出在像圈径较大的情况下由摄像元件260取得的图像的图,图7的(B)是示出在像圈径较小的情况下由摄像元件260取得的图像的图。这里,由于被摄体像仅在像圈的内侧成像,所以即使在像圈的外侧设定场景变化检测区域也无法检测图像的变化。因此,本实施方式的内窥镜系统需要根据像圈径来调整场景变化检测区域。此外,由于当像圈径发生变化时,图像上的被摄体的大小也发生变化,所以优选还根据像圈径调整AF区域的尺寸。
关于本实施方式的内窥镜系统,例如硬性镜100具有存储有未图示的硬性镜的种类信息的存储器,在将硬性镜100与摄像部200连接后,控制部350从存储器取得硬性镜的种类信息。此外,本实施方式的内窥镜系统可以为例如用户将硬性镜的种类信息输入到外部I/F部500的结构。在该情况下,外部I/F部500将所输入的硬性镜的种类信息输出到控制部350。并且,例如在用户通过变焦按钮210调整了变焦透镜240的位置的情况下,本实施方式的内窥镜系统将变焦透镜位置信息输出到控制部350。
控制部350将硬性镜的种类信息和变焦透镜位置信息输出到场景变化检测区域设定部341和AF区域设定部343。场景变化检测区域设定部341根据硬性镜的种类信息和变焦透镜位置信息来计算像圈径,与此相应地调整场景变化检测区域。具体而言,如图7的(A)~图7的(B)那样,变更被设定为场景变化检测区域的评价块的尺寸和数量、以及位置和配置方法。AF区域设定部343根据硬性镜的种类信息和变焦透镜位置信息来计算像圈径,与此相应地调整AF区域。具体而言,如图7的(A)~图7的(B)那样,变更AF区域的尺寸和位置。
由此,能够适当设定第2区域。从摄像元件260输出的输出图像中的形成被摄体像的区域不限定于像圈内。而且,如上所述,由于像圈径根据硬性镜100的种类和光学系统的变焦倍率等而不同,所以形成被摄体像的区域(成像图像)也发生变化。在本实施方式中,假定了在图像的一部分(狭义上是中央部)中拍摄有作为处置对象且变化较大的主要被摄体,其他部分(狭义上是周边部)的被摄体的变化较小的情况。而且,这里的图像应以形成被摄体像的范围为基准进行考虑,使用成像图像即可。
如果像圈相对于摄像元件260足够大,则成像图像的形状为长方形,在如图7的(B)所示将像圈收纳在摄像元件260内的情况下,成像图像的形状为圆形,其中间如图7的(A)所示成为长方形和圆形的中间。如果成像图像接近长方形,如果如图7的(A)所示设第2区域为长方形,则能够覆盖较大的范围。与此相对,在成像图像为圆形时,无法用长方形的第2区域覆盖成像图像的周边部分,且无法进行适当的场景变化检测。在该情况下,也使第2区域的形状变化即可,如果设第2区域为规定形状的块的集合,则如图7的(B)所示地变更该块的配置。
这里,1个块的尺寸能够进行各种变形实施,在尺寸较小的例子中将1个块作为1个像素。但是,如果缩小块尺寸并增多图像中所包含的块数,则是否为有效块的判定处理的负荷增大。另一方面,如图5的(A)那样,如果增大块尺寸并使图像中所包含的块数过少,则即使在图像中所占的亮点和处置器具的区域没有那么大,大部分的(狭义上是全部的)块也会被判定为无效,还可能无法进行适当的场景变化检测。因此,优选将块尺寸(块数)设为取得平衡的值,使用例如图9所示的尺寸等即可。
有效块判定部348使用在各评价块中计算出的特征量,进行各评价块是否为有效块的判定。这里,有效块判定部348例如可以针对各评价块,进行该块所包含的全部像素的Y信号(亮度值)的最大值是否为规定阈值以上的判定。而且,在为阈值以上的情况下,由于在评价块内包含亮点,所以判定为不是有效块,并设对应的评价块的有效块判定标志为0。此外,由于在亮度值的最大值小于规定阈值的情况下,在评价块内不包含亮点,所以判定为有效块,并设对应的评价块的有效块判定标志为1。
并且,有效块判定部348例如进行各评价块的Cb、Cr信号的各个平均值是否均为规定阈值以下的判定,在均为规定阈值以下的情况下,由于评价块位于图像的镊子的区域,所以判定为不是有效块,并设对应的评价块的有效块判定标志为0。这是因为,由于镊子主要是黑色或银色,所以在与镊子对应的区域中,Cb、Cr信号均成为接近0的值。此外,在Cb、Cr信号的平均值的双方或者任意一方大于规定阈值的情况下,由于评价块不位于镊子的区域,所以判定为有效块,并设对应的评价块的有效块判定标志为1。
但是,在考虑至对焦评价值的计算的情况下,若根据各时机中的拍摄图像来检测包含亮点或镊子的块,从第1区域中排除这些块并进行对焦控制,也认为是不充分的。这是因为,考虑在由于成为被摄体的活体略微运动等而使图像中的亮点的位置发生了变动的情况等应排除的被摄体的图像中的位置在对焦动作中发生变化的情况。在使用对焦评价值的对焦动作中,通过对各时机中的对焦评价值进行比较,并检测相对的峰值,确定适当的对焦透镜位置。因此,如果第1时机的图像中的有效块的数量、配置与第2时机的有效块的数量、配置不同,则在2个图像之间,对焦评价值的计算条件会发生变化,无法进行2个对焦评价值的适当比较。
因此,可以使用以下等方法:并非仅使用1个时机的有效块的信息,而是一并使用多个时机的有效块的信息来确定第1区域中的有效块。图10的(A)~图10的(C)示出具体例。在对焦动作中取得第1图像和第2图像,设第1图像的有效块判定结果为图10的(A)、第2图像的有效块的判定结果为图10的(B)。在图10的(A)、图10的(B)中,如果标志=1,则为有效块,如果标志=0,则为无效块。在该情况下,如图10的(C)所示,设在第1图像和第2图像双方中被判定为有效的块的集合为第1区域中的有效块即可。由此,由于在多个图像中,能够通过相同条件求出对焦评价值,所以能够适当进行对焦评价值的比较处理。
以上对应用了本发明的3个实施方式1~3及其变形例进行了说明,但本发明不直接限定于各实施方式1~3及其变形例,在实施阶段,可以在不脱离发明主旨的范围内对结构要素进行变形而具体化。另外,通过适当组合上述各实施方式1~3和变形例所公开的多个结构要素,能够形成各种发明。例如可以从各实施方式1~3及其变形例所记载的所有结构要素中删除掉某些结构要素。进而,还可以适当组合不同实施方式和变形例中所说明的结构要素。此外,在说明书或附图中,对于至少一次地与更广义或同义的不同术语一起记载的术语,在说明书或附图的任何位置处,都可以将其置换为该不同的术语。这样,能够在不脱离发明主旨的范围内进行各种变形和应用。
100:硬性镜;110:透镜系统;120:光导部;200:摄像部;210:变焦按钮;220:对焦透镜;230:对焦透镜驱动部;240:变焦透镜;250:变焦透镜驱动部;260:摄像元件;270:物镜系统;280:光学系统;300:处理部;310:AD转换部;320:预处理部;330:图像处理部;340:AF部;341:场景变化检测区域设定部;342:检测处理部;343:AF区域设定部;344:AF评价值计算部;345:AF控制部;346:场景变化检测部;347:对焦控制部;348:有效块判定部;350:控制部;400:显示部;500:外部I/F部;600:光源部;610:白色光源;620:光导缆线。