李剑平研究小组——我们的研究
浮游生物原位成像技术
水下浮游生物成像仪（左）在近岸浮排下（中）和浮标下（右）
中国发明专利号：ZL201711445601.3
大亚湾海域浮游生物（左）浮游生物水下成像仪技术参数（右）
浮游生物监测对海洋环境安全保障和海洋科学研究意义重大。在科技部国家重点研发计划的支持下，我们研制了一种可在水下工作的浮游生物原位成像仪。通过将光学成像与仪器工程、人工智能、物联网等技术相结合，该仪器可以在水下自动完成活体浮游生物图像的采集、处理、存储与无线传输，并在云端进行识别和统计，实现对浮游生物的在线长期监测。我们的成像仪在深圳大亚湾海域的浮标平台上开展了八个月的海试，采集了大量浮游生物图像，建立了一个包含97类目标的浮游生物原位图像数据库DYB-PlanktonNet，发展了一套浮游生物图像机器学习识别算法，得到了长时间段内大亚湾中浮游生物优势种的丰度变化信息。此外，利用该技术，我们还观测到了浮游生物昼夜垂直迁徙现象，监测到了2020年6月的大亚湾尖笔帽螺暴发事件。该技术有望在生物多样性调查、渔业资源调查、赤潮藻华暴发、核电站致灾生物暴发、外来生物入侵、微塑颗粒污染等海洋环境与生态监测中发挥作用，成为浮标监测网、海底观测网、无人航行器等先进观测平台的传感器新选择，服务于未来的海洋监测与科学研究。
当水下成像仪遇到尖笔帽螺
2020年6月23日，我们在大亚湾海域浮标下部署的浮游生物水下成像仪拍摄到了大量有两只大“耳朵”、身体呈圆锥状的浮游生物。它们的体长大多超过了5毫米，在水中有时呈标准的圆锥形，有时呈现如戒指般曼妙的身影。这些浮游生物学名叫做尖笔帽螺（Creseis acicula），为腹足纲（Gastropoda）后鳃亚纲（Opisthobranchia）翼足目（Pteropoda）龟螺科（Cavoliniidae）笔帽螺属（Creseis）。
据中国水产科学研究院南海水产研究所2020年7月6日报道，尖笔帽螺属广盐暖水种，在大西洋、印度洋和太平洋等热带与亚热带海域分布广泛，在我国南海、东海甚至黄海南部也均有分布。当它们暴发时，高密度的尖笔帽螺可能会涌入核电冷源取水口，造成冷源取水口堵塞，威胁核电安全。我们成像仪对尖笔帽螺丰度的高频监测及时发现了此次暴发，这对附近的大亚湾核电站安全起到了预警的意义。未来，我们希望成像仪可对该物种丰度进行全天候监控，为海洋环境监测和生态灾害预警提供新的高技术手段。
物理引导的原位暗场浮游生物图像运动模糊去除方法
原位暗场浮游生物成像容易受到水流、成像平台波动及生物体自身运动引起的复杂时变运动模糊影响，导致对后续分析至关重要的形态结构难以辨识。这类图像的恢复具有挑战性：一方面，退化过程复杂；另一方面，在真实成像条件下难以获取同一目标严格对齐的模糊—清晰图像对。为此，我们提出 IsPlanktonMD，一种物理引导的运动去模糊框架。该框架通过高质量感兴趣区域（ROI）筛选和基于曝光轨迹的模糊合成，构建可靠的成对监督数据；同时采用先验条件引导的频率增强网络恢复模糊图像。该网络从模糊输入中估计退化信息，并结合跳跃连接特征重加权、频域建模和感知正则化，改善形态结构的恢复效果。实验表明，在合成的成对测试集上，IsPlanktonMD 取得了最优的 SSIM、LPIPS 和 FID 指标，PSNR 与最优结果的差距不超过 0.26 dB。真实运动模糊图像上的定性结果进一步表明，该方法能够减轻运动拖影，更好地保留局部结构，显示出支持更可靠的浮游生物后续分析的潜力。
Min Yao, Zhenping Li, Boxue Wang, Jianping Li*, "IsPlanktonMD: Physics-Guided Motion Deblurring for In situ Darkfield Plankton Imaging", 2nd Workshop on Marine Vision, ECCVW 2026
浮游植物荧光流式成像的图像超分辨率复原
流式成像已成为在自然水体中对浮游植物进行自动化原位观测的广泛应用技术。为了获取浮游植物的精细形态结构，现有仪器通常采用高倍率光学系统，但这不可避免地会限制视场和景深，从而制约分析通量。尽管采用低倍率光学系统能够通过提供更大的视场和景深来扩大采样体积，但通常会牺牲图像的分辨率和质量。基于深度学习的图像超分辨率复原（SR）为解决这一分辨率–通量之间的权衡提供了一种有前景的方案；然而，由于真实世界高质量与低质量图像对的匮乏，此类模型难以得到有效训练，从而限制了其在实际场景中的部署。在本研究中，我们提出了 IfPhytoSR，一个真实图像数据集，包含从流动状态下的浮游植物中采集的 70,566 对高低质量荧光图像。基于该数据集，我们训练并比较了四种具有代表性的先进超分辨率模型：EDSR、Real-ESRGAN、SwinIR 和 DiffBIR。大量实验结果表明，使用真实数据进行训练能够显著提升上述四种模型的超分辨率性能和泛化能力，使其能够更好地适应不同的成像仪器和水生环境。尽管本文以浮游植物荧光图像为验证对象，但所提出的框架为利用同步多倍率成像构建真实配对 HQ–LQ 荧光图像数据集提供了一种实用方案。该框架同样可用于其他荧光成像应用中的图像复原模型开发与评估，例如细胞成像、组织成像以及荧光引导的生物医学观测。
Kaijian Zheng, Zhisheng Zhou, Shinong Zheng, Chuntao Zhao, Zhenping Li, Jianping Li* and Bonnie Law, "Image Super-Resolution Restoration for Fluorescence Flow Imaging of Phytoplankton", 2nd Workshop on Marine Vision, ECCVW 2026
浮游生物原位成像智能观测：从光学采样到感知 （特邀）
对浮游生物原位光学成像观测技术的发展进行了系统梳理，重点阐述了其从依赖物理采样到实现智能感知的方法演进。通过构建系统的技术评述框架，依次剖析了成像原理与仪器、图像数据特性、基于深度学习的自动识别方法，以及从图像中反演获取个体大小、丰度、生物量等关键生态参数的核心技术。分析表明，原位光学成像技术以非接触方式 克服了传统方法的局限，而人工智能技术有效解决了海量图像数据的解析难题，推动观测系统从数据采集工具向具备环境解析能力的平台演进。光学传感硬件、人工智能算法与定量反演模型的结合，正不断提升浮游生物观测的自动化与定量化水平，为海洋生态学研究与业务化监测提供重要的技术方案。
蓝眼泪视频AI分析新算法
“蓝眼泪”是一种由夜光藻在受扰动时发出幽蓝荧光的海洋现象，在以平潭为代表的沿海地区，每年吸引大量游客夜间赴海岸“追泪”。为评估其生态影响，并疏导夜间密集客流带来的安全隐患，实现实时监测尤为关键。然而，该现象发生于夜间、难以持续捕捉，传统手段面临挑战。为此，我们开发了基于BT3.8k数据集的BT-YOLO实时识别模型。这项工作为构建沿海智能视频观测网络奠定了算法基础，能够依托现有监控摄像头实现90 FPS的自动藻华识别与预警，从而服务于生态保护、旅游安全及海岸带智能化治理。
水下微小目标3D成像新方法
光场原图解码和视差估计。(a) 带有微透镜图案的原始图像。(b) 解码后的子孔径图像堆栈。(c) 中心视图图像。(d) 优化的视差图。
针对1毫米-10厘米的水下悬浮颗粒，实现精准原位体积测量需依靠快照成像以避免运动模糊。现有成像方法受遮挡与视角限制，难以完整重建不透明及半透明颗粒表面。本研究采用面对面双光场相机系统，在暗场照明下同步采集两侧信息，克服了上述问题，实现了不透明颗粒的完整三维重建。实验表明，对活体仔稚鱼、不规则颗粒等目标的体积测量误差低于6%。本工作为各类水下颗粒的原位体积精确测量奠定了原理基础。
面向浮游植物原位分析的散射荧光双模态流式显微新方法
实验结果
我们提出了一种新颖的、基于LED的光流式光片显微成像系统，该系统集成了用于浮游植物分析的散射成像和叶绿素a荧光成像技术。与传统的激光光源相比，LED光源展现出显著较低的相干性，可有效降低散斑噪声，该特性提升了散射成像的质量，并有助于保留浮游植物细胞的复杂结构细节。荧光图像有助于浮游植物检测并呈现出细胞内叶绿素的分布，而散射图像提供了互补的形态学信息，这种双模态成像方法能够对自然水体样本中的浮游植物及其他颗粒物实现更为全面的表征。实验结果表明，该系统具备同时捕获流动浮游植物细胞的叶绿素a荧光图像和散射图像的能力。凭借其提供增强后的成像质量和结构信息的能力，这种基于LED的光流式光片显微镜系统在实现自动化、高精度的浮游植物水样分析方面具有强大潜力，将为水生环境监测和海洋学研究的发展做出贡献。
面向浮游生物检测的海洋原位图像合成技术
海洋浮游生物原位暗场图像合成方法
传统阈值方法（左）与YOLO模型（右）在真实原位暗场图像上检测结果对比
水下显微镜已被广泛开发用于获取原位图像以进行海洋浮游生物观测。然而，现有软件依赖传统阈值方法来分离单个目标，随后对提取的感兴趣区域（ROI）进行进一步处理以用于物种分类和计数。这种两阶段方法缺乏端到端的效率，且在真实海洋环境中面临挑战。我们提出了一种新的流程，该流程合成大规模、可控制且多样化的与真实原位图像相似的暗场图像，从而无需人工标注即可辅助浮游生物检测算法的训练。仅在该合成数据集上训练的 YOLO-v9 模型表现出出色的定位性能和对真实图像的强泛化能力。该方法充分利用已建立的 ROI 数据集，显著降低了对繁琐人工标注的依赖，为深度目标检测和分割网络的发展铺平了道路，最终提升浮游生物成像系统的自动化水平和性能。
浮游生物原位成像景深扩展技术
基于深度学习的海洋浮游生物原位暗场成像景深扩展方法 与另外两种深度神经网络的景深扩展效果对比
现有的水下暗场成像仪的景深浅，成像的水体体积小，导致浮游生物观测的海水采样效率低下。我们开发了一种数据驱动的方法——IsPlanktonFE ，通过将浮游生物的离焦暗场图像重新聚焦，等效地实现了成像仪的景深扩展。实验结果表明IsPlanktonFE可将0.5x暗场成像系统景深扩展到原来的7倍，同时具有较好的内容和设备泛化能力。另外，景深扩展后的图像能取得相比离焦图像更高的识别准确率。我们提出的景深扩展技术可用于未来的海洋浮游生物原位观测系统中，以大幅提升系统的观测效率，推动以浮游生物观测为基础的海洋生态科学研究与环境监测应用。
基于对比学习的浮游生物图像识别检索框架
浮游生物原位图像检索识别框架IsPlanktonIR示意图
海洋原位浮游生物图像的自动识别是一项具有挑战性的任务。然而，真实海洋环境中采集的数据存在质量恶化、分布不均、分布偏移和分布外样本出现等问题，使得基于深度学习的识别分类器的鲁棒性较差。我们提出了一种新的基于图像检索的浮游生物图像识别框架，利用监督对比学习训练特征提取器以获得更好的图像特征向量，并通过比较输入图像与参考图像之间的相似性来确定输入图像的类别。实验结果表明，我们提出的方法在数据非常不平衡的闭集识别上取得了与现有最好分类模型相近的性能，并且在处理数据集偏移和分布外样本问题上具有较好的泛化能力。这种方法具备极高的架构灵活性以及检索速度，有助于实现对实际海洋环境中浮游生物的实时原位观测。
浮游生物原位成像自动着色技术
水下彩色成像需要使用白光照明，这种情况下，浮游生物因趋光性会大量聚集在水下成像仪器前，使得其原有空间分布改变，从而产生了浮游生物的丰度测量误差。红光或近红外光照明则可以避免浮游生物的趋光性聚集，但这种照明使得设备采集到的图像为灰度图，不利于后续的人类观测和机器识别。我们提出了一种基于深度卷积神经网络的浮游生物自动着色算法IsPlanktonCLR，实现了对浮游生物灰度图像自动着色。我们将算法与目前最优着色算法进行了对比，结果表明， IsPlanktonCLR在人眼视觉感知和PSNR、SSIM、FID等机器视觉评价指标上均取得最佳。该算法为海洋成像观测仪器获取准确、真实的观测结果提供了一种新的人工智能解决方案，为其他海洋生物的成像观测问题提供了新的解决思路，为人类认识和探索海洋提供了新的技术手段。
原位成像目标聚焦自动评价技术
原位浮游生物图像退化的主要原因之一是源自离焦模糊。它不仅会导致后续人和机器对目标识别的困难，还会导致海水体积测量不准确，进而造成浮游生物丰度定量不准。因此，很有必要建立一套评估图像模糊程度的方法，保留那些高质量的聚焦图像供后续分析，并去除模糊图像以满足现场设备的计算、存储和传输带宽资源的限制。在这项工作中，我们提出两种专门用于原位暗场浮游生物图像聚焦评价的算法，分别基于手工特征和卷积神经网络自动提取的特征。二者在计算效率和聚焦评估表现上互为补充，有望部署在具有不同功耗、计算、存储和网络条件下的暗场成像系统中，以适应不同的应用场景。
浮游生物原位成像超分辨率技术
为了获得更大的采样体积，水下光学成像系统通常采用较低放大倍率，但是这却牺牲了成像分辨率。为了解决这一问题，我们构建了一套真实拍摄的水下浮游生物高低分辨率数据集IsPlanktonSR，并利用该数据集训练了一个基于EDSR网络的浮游生物原位图像超分辨率模型。利用该技术，我们可以从低分辨率的浮游生物原位图像中恢复出更多的形态细节。该技术不仅可以提升现有暗场浮游生物原位图像的分辨率，还有望为未来的原位浮游生物成像仪设计提供新思路，使之具有更好的浮游生物观测识别能力。
新型光片的研究
薄而宽的光片对于具有大视场和近衍射极限分辨率的光片显微镜至关重要。无衍射光片的跨度范围很宽，但通常带有强旁瓣或增加的厚度。我们发展了一种数值优化方法来设计光瞳掩膜以生成薄而宽的光片。该方法平衡了光片厚度、无衍射范围和旁瓣之间的矛盾。我们在理论和实验上表明，优化的掩膜将静态光片的无衍射范围扩大了50%，同时使其旁瓣低于20%。据此生成的新型静态光片可以在不牺牲轴向分辨率的情况下，对样品进行更大视野成像。
浮游生物流式成像技术
喷泉流式成像技术独特的光学和流体控制使之很大程度上减少了对高速流动目标成像中的运动模糊，便于对水样中的目标种类和密度进行更准确的分析。然而，我们现有系统采集的图像序列中存在目标重复拍摄和离焦模糊问题，导致浮游生物识别困难和丰度统计不准确。为解决这一问题，我们提出了一套用于目标计数的图像处理算法流程。利用浮游生物水样对算法进行测试，结果表明目标检测和跟踪的准确率分别达到了73%和94%。该算法有望使喷泉流式成像技术对高密度天然水样中的浮游生物图像实现更快、更准确的识别和计数，从而进一步提升浮游生物现场观测能力。
实时浮游植物荧光图像目标检测算法
对天然海水中的浮游植物细胞进行快速定量分析是海洋生态科学研究和有害赤潮监测应用的迫切需求。为了提高细胞级浮游植物的分析效率，我们发展了一种基于YOLOX的浮游植物目标检测算法，并在嵌入式计算模组上取得90.9%和20fps 的平均准确率和检测帧率。利用该方法，我们将促进成像流式细胞仪往更加小型化和智能化的方向发展，以便其部署到科考船载和其他现场环境，实现浮游植物的长期动态监测，最终推动相关海洋科学研究和海洋环境监测技术的发展。
浮游生物图像智能分析技术
海洋中的浮游生物无穷无尽，且随着气候的变化、人类生产活动等因素的影响而时刻发生着深刻的变化。我们的浮游生物成像技术大大提高了浮游生物图像的获取效率与质量，与此同时，我们正在研发的浮游生物图像智能化分析技术也在努力缩短成像数据与最终分析结果的最后一段里程。我们利用机器学习、图像处理与机器视觉等先进技术，追求利用智能计算单元自动优化图像质量、自动鉴别浮游生物、从海量数据中自动挖掘关键信息，并最终取得提升系统成像性能、自动执行常规监测分析、协助研究人员产生新发现的效果。
