李剑平研究小组——我们的研究
浮游生物原位成像技术
水下浮游生物成像仪（左）在近岸浮排下（中）和浮标下（右）
中国发明专利号：ZL201711445601.3
大亚湾海域浮游生物（左）浮游生物水下成像仪技术参数（右）
浮游生物监测对海洋环境安全保障和海洋科学研究意义重大。在科技部国家重点研发计划的支持下，我们研制了一种可在水下工作的浮游生物原位成像仪。通过将光学成像与仪器工程、人工智能、物联网等技术相结合，该仪器可以在水下自动完成活体浮游生物图像的采集、处理、存储与无线传输，并在云端进行识别和统计，实现对浮游生物的在线长期监测。我们的成像仪在深圳大亚湾海域的浮标平台上开展了八个月的海试，采集了大量浮游生物图像，建立了一个包含97类目标的浮游生物原位图像数据库DYB-PlanktonNet，发展了一套浮游生物图像机器学习识别算法，得到了长时间段内大亚湾中浮游生物优势种的丰度变化信息。此外，利用该技术，我们还观测到了浮游生物昼夜垂直迁徙现象，监测到了2020年6月的大亚湾尖笔帽螺暴发事件。该技术有望在生物多样性调查、渔业资源调查、赤潮藻华暴发、核电站致灾生物暴发、外来生物入侵、微塑颗粒污染等海洋环境与生态监测中发挥作用，成为浮标监测网、海底观测网、无人航行器等先进观测平台的传感器新选择，服务于未来的海洋监测与科学研究。
当水下成像仪遇到尖笔帽螺
2020年6月23日，我们在大亚湾海域浮标下部署的浮游生物水下成像仪拍摄到了大量有两只大“耳朵”、身体呈圆锥状的浮游生物。它们的体长大多超过了5毫米，在水中有时呈标准的圆锥形，有时呈现如戒指般曼妙的身影。这些浮游生物学名叫做尖笔帽螺（Creseis acicula），为腹足纲（Gastropoda）后鳃亚纲（Opisthobranchia）翼足目（Pteropoda）龟螺科（Cavoliniidae）笔帽螺属（Creseis）。
据中国水产科学研究院南海水产研究所2020年7月6日报道，尖笔帽螺属广盐暖水种，在大西洋、印度洋和太平洋等热带与亚热带海域分布广泛，在我国南海、东海甚至黄海南部也均有分布。当它们暴发时，高密度的尖笔帽螺可能会涌入核电冷源取水口，造成冷源取水口堵塞，威胁核电安全。我们成像仪对尖笔帽螺丰度的高频监测及时发现了此次暴发，这对附近的大亚湾核电站安全起到了预警的意义。未来，我们希望成像仪可对该物种丰度进行全天候监控，为海洋环境监测和生态灾害预警提供新的高技术手段。
用于浮游植物同步散射与荧光成像的双模态成像流式细胞仪
仪器结构
实验结果
我们提出了一种新颖的、基于LED的光流式光片显微成像系统，该系统集成了用于浮游植物分析的散射成像和叶绿素a荧光成像技术。与传统的激光光源相比，LED光源展现出显著较低的相干性，可有效降低散斑噪声，该特性提升了散射成像的质量，并有助于保留浮游植物细胞的复杂结构细节。荧光图像有助于浮游植物检测并呈现出细胞内叶绿素的分布，而散射图像提供了互补的形态学信息，这种双模态成像方法能够对自然水体样本中的浮游植物及其他颗粒物实现更为全面的表征。实验结果表明，该系统具备同时捕获流动浮游植物细胞的叶绿素a荧光图像和散射图像的能力。凭借其提供增强后的成像质量和结构信息的能力，这种基于LED的光流式光片显微镜系统在实现自动化、高精度的浮游植物水样分析方面具有强大潜力，将为水生环境监测和海洋学研究的发展做出贡献。
面向浮游生物检测的海洋原位图像合成技术
海洋浮游生物原位暗场图像合成方法
传统阈值方法（左）与YOLO模型（右）在真实原位暗场图像上检测结果对比
水下显微镜已被广泛开发用于获取原位图像以进行海洋浮游生物观测。然而，现有软件依赖传统阈值方法来分离单个目标，随后对提取的感兴趣区域（ROI）进行进一步处理以用于物种分类和计数。这种两阶段方法缺乏端到端的效率，且在真实海洋环境中面临挑战。我们提出了一种新的流程，该流程合成大规模、可控制且多样化的与真实原位图像相似的暗场图像，从而无需人工标注即可辅助浮游生物检测算法的训练。仅在该合成数据集上训练的 YOLO-v9 模型表现出出色的定位性能和对真实图像的强泛化能力。该方法充分利用已建立的 ROI 数据集，显著降低了对繁琐人工标注的依赖，为深度目标检测和分割网络的发展铺平了道路，最终提升浮游生物成像系统的自动化水平和性能。
Li Z and Li J, "Synthesize Large-scale in situ Darkfield Images for Training Marine Plankton Detection Algorithms". in Proceedings of the 2025 IEEE International Conference on Multimedia and Expo, 2025.
浮游生物原位成像景深扩展技术
基于深度学习的海洋浮游生物原位暗场成像景深扩展方法 与另外两种深度神经网络的景深扩展效果对比
现有的水下暗场成像仪的景深浅，成像的水体体积小，导致浮游生物观测的海水采样效率低下。我们开发了一种数据驱动的方法——IsPlanktonFE ，通过将浮游生物的离焦暗场图像重新聚焦，等效地实现了成像仪的景深扩展。实验结果表明IsPlanktonFE可将0.5x暗场成像系统景深扩展到原来的7倍，同时具有较好的内容和设备泛化能力。另外，景深扩展后的图像能取得相比离焦图像更高的识别准确率。我们提出的景深扩展技术可用于未来的海洋浮游生物原位观测系统中，以大幅提升系统的观测效率，推动以浮游生物观测为基础的海洋生态科学研究与环境监测应用。
基于对比学习的浮游生物图像识别检索框架
浮游生物原位图像检索识别框架IsPlanktonIR示意图
海洋原位浮游生物图像的自动识别是一项具有挑战性的任务。然而，真实海洋环境中采集的数据存在质量恶化、分布不均、分布偏移和分布外样本出现等问题，使得基于深度学习的识别分类器的鲁棒性较差。我们提出了一种新的基于图像检索的浮游生物图像识别框架，利用监督对比学习训练特征提取器以获得更好的图像特征向量，并通过比较输入图像与参考图像之间的相似性来确定输入图像的类别。实验结果表明，我们提出的方法在数据非常不平衡的闭集识别上取得了与现有最好分类模型相近的性能，并且在处理数据集偏移和分布外样本问题上具有较好的泛化能力。这种方法具备极高的架构灵活性以及检索速度，有助于实现对实际海洋环境中浮游生物的实时原位观测。
浮游生物原位成像自动着色技术
水下彩色成像需要使用白光照明，这种情况下，浮游生物因趋光性会大量聚集在水下成像仪器前，使得其原有空间分布改变，从而产生了浮游生物的丰度测量误差。红光或近红外光照明则可以避免浮游生物的趋光性聚集，但这种照明使得设备采集到的图像为灰度图，不利于后续的人类观测和机器识别。我们提出了一种基于深度卷积神经网络的浮游生物自动着色算法IsPlanktonCLR，实现了对浮游生物灰度图像自动着色。我们将算法与目前最优着色算法进行了对比，结果表明， IsPlanktonCLR在人眼视觉感知和PSNR、SSIM、FID等机器视觉评价指标上均取得最佳。该算法为海洋成像观测仪器获取准确、真实的观测结果提供了一种新的人工智能解决方案，为其他海洋生物的成像观测问题提供了新的解决思路，为人类认识和探索海洋提供了新的技术手段。
原位成像目标聚焦自动评价技术
原位浮游生物图像退化的主要原因之一是源自离焦模糊。它不仅会导致后续人和机器对目标识别的困难，还会导致海水体积测量不准确，进而造成浮游生物丰度定量不准。因此，很有必要建立一套评估图像模糊程度的方法，保留那些高质量的聚焦图像供后续分析，并去除模糊图像以满足现场设备的计算、存储和传输带宽资源的限制。在这项工作中，我们提出两种专门用于原位暗场浮游生物图像聚焦评价的算法，分别基于手工特征和卷积神经网络自动提取的特征。二者在计算效率和聚焦评估表现上互为补充，有望部署在具有不同功耗、计算、存储和网络条件下的暗场成像系统中，以适应不同的应用场景。
浮游生物原位成像超分辨率技术
为了获得更大的采样体积，水下光学成像系统通常采用较低放大倍率，但是这却牺牲了成像分辨率。为了解决这一问题，我们构建了一套真实拍摄的水下浮游生物高低分辨率数据集IsPlanktonSR，并利用该数据集训练了一个基于EDSR网络的浮游生物原位图像超分辨率模型。利用该技术，我们可以从低分辨率的浮游生物原位图像中恢复出更多的形态细节。该技术不仅可以提升现有暗场浮游生物原位图像的分辨率，还有望为未来的原位浮游生物成像仪设计提供新思路，使之具有更好的浮游生物观测识别能力。
新型光片的研究
薄而宽的光片对于具有大视场和近衍射极限分辨率的光片显微镜至关重要。无衍射光片的跨度范围很宽，但通常带有强旁瓣或增加的厚度。我们发展了一种数值优化方法来设计光瞳掩膜以生成薄而宽的光片。该方法平衡了光片厚度、无衍射范围和旁瓣之间的矛盾。我们在理论和实验上表明，优化的掩膜将静态光片的无衍射范围扩大了50%，同时使其旁瓣低于20%。据此生成的新型静态光片可以在不牺牲轴向分辨率的情况下，对样品进行更大视野成像。
浮游生物流式成像技术
喷泉流式成像技术独特的光学和流体控制使之很大程度上减少了对高速流动目标成像中的运动模糊，便于对水样中的目标种类和密度进行更准确的分析。然而，我们现有系统采集的图像序列中存在目标重复拍摄和离焦模糊问题，导致浮游生物识别困难和丰度统计不准确。为解决这一问题，我们提出了一套用于目标计数的图像处理算法流程。利用浮游生物水样对算法进行测试，结果表明目标检测和跟踪的准确率分别达到了73%和94%。该算法有望使喷泉流式成像技术对高密度天然水样中的浮游生物图像实现更快、更准确的识别和计数，从而进一步提升浮游生物现场观测能力。
实时浮游植物荧光图像目标检测算法
对天然海水中的浮游植物细胞进行快速定量分析是海洋生态科学研究和有害赤潮监测应用的迫切需求。为了提高细胞级浮游植物的分析效率，我们发展了一种基于YOLOX的浮游植物目标检测算法，并在嵌入式计算模组上取得90.9%和20fps 的平均准确率和检测帧率。利用该方法，我们将促进成像流式细胞仪往更加小型化和智能化的方向发展，以便其部署到科考船载和其他现场环境，实现浮游植物的长期动态监测，最终推动相关海洋科学研究和海洋环境监测技术的发展。
浮游生物图像智能分析技术
海洋中的浮游生物无穷无尽，且随着气候的变化、人类生产活动等因素的影响而时刻发生着深刻的变化。我们的浮游生物成像技术大大提高了浮游生物图像的获取效率与质量，与此同时，我们正在研发的浮游生物图像智能化分析技术也在努力缩短成像数据与最终分析结果的最后一段里程。我们利用机器学习、图像处理与机器视觉等先进技术，追求利用智能计算单元自动优化图像质量、自动鉴别浮游生物、从海量数据中自动挖掘关键信息，并最终取得提升系统成像性能、自动执行常规监测分析、协助研究人员产生新发现的效果。
水下原位荧光光谱和吸收光谱技术
传统的以实验室分析为代表的水质监测技术因其时间长、成本高及无法实现在线监测等原因无法满足当前海水、湖沼水、生活用水及污水的水质检测需求。我们研究小组结合荧光光谱技术、紫外可见吸收光谱技术与原位传感器集成技术，研发的水下在线水质成分分析技术可应用于海水、湖沼水、生活用水及污水的水质监测与污染分析。自研的原位全光谱吸光光度计，通过嵌入式系统预存的水质成分模型，可实现化学需氧量（COD）、总有机碳（TOC）、硝酸盐-氮、叶绿素a、有色可溶性物质（CDOM）、浊度等生化常规要素的在线监测。
海洋附着生物幼虫趋光性研究
海洋污损生物会在海洋船舶、设备及仪器等上附着并大量繁衍，严重影响船舶航行速度和海洋设备及仪器的正常使用。因此，我们研究小组开展海洋附着生物的幼虫趋光性研究，采用成像技术研究海洋附着生物幼虫针对光频率与能量密度的响应差异性。通过海洋附着生物幼虫对光的响应差异性研究，从海洋传感器光学设计的角度降低生物污损，提高其单次免维护时间，降低人工成本，为解决海洋污损问题夯实基础。
