李剑平研究小组——我们的研究
浮游生物原位成像技术
水下浮游生物成像仪（左）在近岸浮排下（中）和浮标下（右）
中国发明专利号：ZL201711445601.3
大亚湾海域浮游生物（左）浮游生物水下成像仪技术参数（右）
浮游生物监测对海洋环境安全保障和海洋科学研究意义重大。在科技部国家重点研发计划的支持下，我们研制了一种可在水下工作的浮游生物原位成像仪。通过将光学成像与仪器工程、人工智能、物联网等技术相结合，该仪器可以在水下自动完成活体浮游生物图像的采集、处理、存储与无线传输，并在云端进行识别和统计，实现对浮游生物的在线长期监测。我们的成像仪在深圳大亚湾海域的浮标平台上开展了八个月的海试，采集了大量浮游生物图像，建立了一个包含97类目标的浮游生物原位图像数据库DYB-PlanktonNet，发展了一套浮游生物图像机器学习识别算法，得到了长时间段内大亚湾中浮游生物优势种的丰度变化信息。此外，利用该技术，我们还观测到了浮游生物昼夜垂直迁徙现象，监测到了2020年6月的大亚湾尖笔帽螺暴发事件。该技术有望在生物多样性调查、渔业资源调查、赤潮藻华暴发、核电站致灾生物暴发、外来生物入侵、微塑颗粒污染等海洋环境与生态监测中发挥作用，成为浮标监测网、海底观测网、无人航行器等先进观测平台的传感器新选择，服务于未来的海洋监测与科学研究。
当水下成像仪遇到尖笔帽螺
2020年6月23日，我们在大亚湾海域浮标下部署的浮游生物水下成像仪拍摄到了大量有两只大“耳朵”、身体呈圆锥状的浮游生物。它们的体长大多超过了5毫米，在水中有时呈标准的圆锥形，有时呈现如戒指般曼妙的身影。这些浮游生物学名叫做尖笔帽螺（Creseis acicula），为腹足纲（Gastropoda）后鳃亚纲（Opisthobranchia）翼足目（Pteropoda）龟螺科（Cavoliniidae）笔帽螺属（Creseis）。
据中国水产科学研究院南海水产研究所2020年7月6日报道，尖笔帽螺属广盐暖水种，在大西洋、印度洋和太平洋等热带与亚热带海域分布广泛，在我国南海、东海甚至黄海南部也均有分布。当它们暴发时，高密度的尖笔帽螺可能会涌入核电冷源取水口，造成冷源取水口堵塞，威胁核电安全。我们成像仪对尖笔帽螺丰度的高频监测及时发现了此次暴发，这对附近的大亚湾核电站安全起到了预警的意义。未来，我们希望成像仪可对该物种丰度进行全天候监控，为海洋环境监测和生态灾害预警提供新的高技术手段。
浮游生物原位成像智能观测：从光学采样到感知 （特邀）
对浮游生物原位光学成像观测技术的发展进行了系统梳理，重点阐述了其从依赖物理采样到实现智能感知的方法演进。通过构建系统的技术评述框架，依次剖析了成像原理与仪器、图像数据特性、基于深度学习的自动识别方法，以及从图像中反演获取个体大小、丰度、生物量等关键生态参数的核心技术。分析表明，原位光学成像技术以非接触方式 克服了传统方法的局限，而人工智能技术有效解决了海量图像数据的解析难题，推动观测系统从数据采集工具向具备环境解析能力的平台演进。光学传感硬件、人工智能算法与定量反演模型的结合，正不断提升浮游生物观测的自动化与定量化水平，为海洋生态学研究与业务化监测提供重要的技术方案。
团队自主研发四波段辐照度传感器SLIM-I4性能国际领先，为Argo全球海洋观测注入中国智慧
中国科学院深圳先进技术研究院（简称“深圳先进院”）深圳海洋声光探测技术及装备工程研究中心联合杭州全球海洋Argo系统野外科学观测研究站（Argo野外站）、中国海洋大学，在国际光学期刊《Optics Express》发表了一项重要研究成果。该研究依托国家重点研发计划项目，对深圳先进院自主研发的国产四波段辐照度传感器SLIM-I4进行了系统的实验室测试，并与美国海鸟公司（OCR-504）、加拿大RBR公司（quadrante）的同类主流产品开展了全方位性能对比。结果显示，SLIM-I4在辐射测量准确度、暗信号稳定性等核心指标上均优于国际同类产品，标志着我国在海洋生物化学原位传感器研制领域取得重大突破。
自主创新，打造小型化、低功耗、深潜能力的核心传感器
SLIM-I4是深圳先进院面向全球Argo浮标平台对生物光学传感器的小型化、低功耗需求，自主研发的新型四波段辐照度传感器。它不仅具备体积最小（三款对比中最紧凑）、功耗极低的优势，更拥有高达4000米的耐压能力，可适应深海长期观测的严苛环境，为Argo浮标搭载生物光学观测提供了理想的国产解决方案。
实验室严苛测评，SLIM-I4多项关键指标超越国际竞品
研究团队设计了严密的实验室对比测试方案，包括辐射测量实验和暗信号温度实验，全面评估三款传感器的性能。
本研究测试的三类辐照度传感器（a-b）以及评估实验（c：辐射测量实验；d：暗信号温度实验）
在辐射测量准确度方面，SLIM-I4表现最优：其所有四个波段的相对系统偏差均小于0.5%，准确度显著优于美加产品（图2a）。在辐射测量稳定性方面，SLIM-I4与美国OCR-504相当，四个波段的相对标准偏差均低于0.1%，优于加拿大quadrante（图2b）。
尤为突出的是暗信号性能——这是影响弱光测量精度的关键参数。在5~40°C水温变化环境下，SLIM-I4所有波段的暗信号标准偏差远低于10⁻⁴ μW/cm²/nm（或μmol/m²/s），较美加产品低一个数量级，展现出卓越的暗信号稳定性（图2c）；其暗信号的温度校正偏差也均低于10⁻³ μW/cm²/nm（μmol/m²/s），显著优于同类产品（图2d）。这些数据充分证明SLIM-I4在复杂温度环境下的高可靠性和测量精度。
本研究测试的辐照度传感器的四种技术指标：（a）辐射测量准确度（Δ%）；（b）辐射测量稳定性（σ%）；（c）暗信号稳定性（最大暗信号标准偏差）；（d）最大暗信号绝对值（温度校正偏差）
研究成果助力国际Argo技术标准制定，国产传感器走向世界舞台
作为国际Argo计划技术任务组的重要成果，研究团队基于本次实验数据，并参照海洋光学国际标准，向国际Argo计划提出了一系列适用于Argo浮标的辐照度传感器准入标准建议，包括辐射测量准确度优于±3%、稳定性优于1%（辐照度波段）及0.1%（PAR波段）、暗信号稳定性优于0.005 μW/cm²/nm等。
这些建议不仅将推动国际Argo观测技术标准的完善，更意味着我国自主研发的SLIM-I4传感器已具备与国际顶尖产品同台竞技的实力，为国产海洋传感器获得国际广泛认可奠定了坚实基础。
创新驱动发展，提升我国海洋观测技术国际竞争力
SLIM-I4的研制成功与性能验证，充分展示了我国在海洋高端仪器自主研发领域的显著进步。作为研发单位，中国科学院深圳先进技术研究院将继续深耕海洋生物化学原位传感技术，以更先进、更可靠的国产设备支撑全球海洋观测网络建设，为海洋科学研究与资源环境保护贡献中国智慧与中国方案。
蓝眼泪视频AI分析新算法
“蓝眼泪”是一种由夜光藻在受扰动时发出幽蓝荧光的海洋现象，在以平潭为代表的沿海地区，每年吸引大量游客夜间赴海岸“追泪”。为评估其生态影响，并疏导夜间密集客流带来的安全隐患，实现实时监测尤为关键。然而，该现象发生于夜间、难以持续捕捉，传统手段面临挑战。为此，我们开发了基于BT3.8k数据集的BT-YOLO实时识别模型。这项工作为构建沿海智能视频观测网络奠定了算法基础，能够依托现有监控摄像头实现90 FPS的自动藻华识别与预警，从而服务于生态保护、旅游安全及海岸带智能化治理。
水下微小目标3D成像新方法
光场原图解码和视差估计。(a) 带有微透镜图案的原始图像。(b) 解码后的子孔径图像堆栈。(c) 中心视图图像。(d) 优化的视差图。
针对1毫米-10厘米的水下悬浮颗粒，实现精准原位体积测量需依靠快照成像以避免运动模糊。现有成像方法受遮挡与视角限制，难以完整重建不透明及半透明颗粒表面。本研究采用面对面双光场相机系统，在暗场照明下同步采集两侧信息，克服了上述问题，实现了不透明颗粒的完整三维重建。实验表明，对活体仔稚鱼、不规则颗粒等目标的体积测量误差低于6%。本工作为各类水下颗粒的原位体积精确测量奠定了原理基础。
面向浮游植物原位分析的散射荧光双模态流式显微新方法
实验结果
我们提出了一种新颖的、基于LED的光流式光片显微成像系统，该系统集成了用于浮游植物分析的散射成像和叶绿素a荧光成像技术。与传统的激光光源相比，LED光源展现出显著较低的相干性，可有效降低散斑噪声，该特性提升了散射成像的质量，并有助于保留浮游植物细胞的复杂结构细节。荧光图像有助于浮游植物检测并呈现出细胞内叶绿素的分布，而散射图像提供了互补的形态学信息，这种双模态成像方法能够对自然水体样本中的浮游植物及其他颗粒物实现更为全面的表征。实验结果表明，该系统具备同时捕获流动浮游植物细胞的叶绿素a荧光图像和散射图像的能力。凭借其提供增强后的成像质量和结构信息的能力，这种基于LED的光流式光片显微镜系统在实现自动化、高精度的浮游植物水样分析方面具有强大潜力，将为水生环境监测和海洋学研究的发展做出贡献。
面向浮游生物检测的海洋原位图像合成技术
海洋浮游生物原位暗场图像合成方法
传统阈值方法（左）与YOLO模型（右）在真实原位暗场图像上检测结果对比
水下显微镜已被广泛开发用于获取原位图像以进行海洋浮游生物观测。然而，现有软件依赖传统阈值方法来分离单个目标，随后对提取的感兴趣区域（ROI）进行进一步处理以用于物种分类和计数。这种两阶段方法缺乏端到端的效率，且在真实海洋环境中面临挑战。我们提出了一种新的流程，该流程合成大规模、可控制且多样化的与真实原位图像相似的暗场图像，从而无需人工标注即可辅助浮游生物检测算法的训练。仅在该合成数据集上训练的 YOLO-v9 模型表现出出色的定位性能和对真实图像的强泛化能力。该方法充分利用已建立的 ROI 数据集，显著降低了对繁琐人工标注的依赖，为深度目标检测和分割网络的发展铺平了道路，最终提升浮游生物成像系统的自动化水平和性能。
浮游生物原位成像景深扩展技术
基于深度学习的海洋浮游生物原位暗场成像景深扩展方法 与另外两种深度神经网络的景深扩展效果对比
现有的水下暗场成像仪的景深浅，成像的水体体积小，导致浮游生物观测的海水采样效率低下。我们开发了一种数据驱动的方法——IsPlanktonFE ，通过将浮游生物的离焦暗场图像重新聚焦，等效地实现了成像仪的景深扩展。实验结果表明IsPlanktonFE可将0.5x暗场成像系统景深扩展到原来的7倍，同时具有较好的内容和设备泛化能力。另外，景深扩展后的图像能取得相比离焦图像更高的识别准确率。我们提出的景深扩展技术可用于未来的海洋浮游生物原位观测系统中，以大幅提升系统的观测效率，推动以浮游生物观测为基础的海洋生态科学研究与环境监测应用。
基于对比学习的浮游生物图像识别检索框架
浮游生物原位图像检索识别框架IsPlanktonIR示意图
海洋原位浮游生物图像的自动识别是一项具有挑战性的任务。然而，真实海洋环境中采集的数据存在质量恶化、分布不均、分布偏移和分布外样本出现等问题，使得基于深度学习的识别分类器的鲁棒性较差。我们提出了一种新的基于图像检索的浮游生物图像识别框架，利用监督对比学习训练特征提取器以获得更好的图像特征向量，并通过比较输入图像与参考图像之间的相似性来确定输入图像的类别。实验结果表明，我们提出的方法在数据非常不平衡的闭集识别上取得了与现有最好分类模型相近的性能，并且在处理数据集偏移和分布外样本问题上具有较好的泛化能力。这种方法具备极高的架构灵活性以及检索速度，有助于实现对实际海洋环境中浮游生物的实时原位观测。
浮游生物原位成像自动着色技术
水下彩色成像需要使用白光照明，这种情况下，浮游生物因趋光性会大量聚集在水下成像仪器前，使得其原有空间分布改变，从而产生了浮游生物的丰度测量误差。红光或近红外光照明则可以避免浮游生物的趋光性聚集，但这种照明使得设备采集到的图像为灰度图，不利于后续的人类观测和机器识别。我们提出了一种基于深度卷积神经网络的浮游生物自动着色算法IsPlanktonCLR，实现了对浮游生物灰度图像自动着色。我们将算法与目前最优着色算法进行了对比，结果表明， IsPlanktonCLR在人眼视觉感知和PSNR、SSIM、FID等机器视觉评价指标上均取得最佳。该算法为海洋成像观测仪器获取准确、真实的观测结果提供了一种新的人工智能解决方案，为其他海洋生物的成像观测问题提供了新的解决思路，为人类认识和探索海洋提供了新的技术手段。
原位成像目标聚焦自动评价技术
原位浮游生物图像退化的主要原因之一是源自离焦模糊。它不仅会导致后续人和机器对目标识别的困难，还会导致海水体积测量不准确，进而造成浮游生物丰度定量不准。因此，很有必要建立一套评估图像模糊程度的方法，保留那些高质量的聚焦图像供后续分析，并去除模糊图像以满足现场设备的计算、存储和传输带宽资源的限制。在这项工作中，我们提出两种专门用于原位暗场浮游生物图像聚焦评价的算法，分别基于手工特征和卷积神经网络自动提取的特征。二者在计算效率和聚焦评估表现上互为补充，有望部署在具有不同功耗、计算、存储和网络条件下的暗场成像系统中，以适应不同的应用场景。
浮游生物原位成像超分辨率技术
为了获得更大的采样体积，水下光学成像系统通常采用较低放大倍率，但是这却牺牲了成像分辨率。为了解决这一问题，我们构建了一套真实拍摄的水下浮游生物高低分辨率数据集IsPlanktonSR，并利用该数据集训练了一个基于EDSR网络的浮游生物原位图像超分辨率模型。利用该技术，我们可以从低分辨率的浮游生物原位图像中恢复出更多的形态细节。该技术不仅可以提升现有暗场浮游生物原位图像的分辨率，还有望为未来的原位浮游生物成像仪设计提供新思路，使之具有更好的浮游生物观测识别能力。
新型光片的研究
薄而宽的光片对于具有大视场和近衍射极限分辨率的光片显微镜至关重要。无衍射光片的跨度范围很宽，但通常带有强旁瓣或增加的厚度。我们发展了一种数值优化方法来设计光瞳掩膜以生成薄而宽的光片。该方法平衡了光片厚度、无衍射范围和旁瓣之间的矛盾。我们在理论和实验上表明，优化的掩膜将静态光片的无衍射范围扩大了50%，同时使其旁瓣低于20%。据此生成的新型静态光片可以在不牺牲轴向分辨率的情况下，对样品进行更大视野成像。
浮游生物流式成像技术
喷泉流式成像技术独特的光学和流体控制使之很大程度上减少了对高速流动目标成像中的运动模糊，便于对水样中的目标种类和密度进行更准确的分析。然而，我们现有系统采集的图像序列中存在目标重复拍摄和离焦模糊问题，导致浮游生物识别困难和丰度统计不准确。为解决这一问题，我们提出了一套用于目标计数的图像处理算法流程。利用浮游生物水样对算法进行测试，结果表明目标检测和跟踪的准确率分别达到了73%和94%。该算法有望使喷泉流式成像技术对高密度天然水样中的浮游生物图像实现更快、更准确的识别和计数，从而进一步提升浮游生物现场观测能力。
实时浮游植物荧光图像目标检测算法
对天然海水中的浮游植物细胞进行快速定量分析是海洋生态科学研究和有害赤潮监测应用的迫切需求。为了提高细胞级浮游植物的分析效率，我们发展了一种基于YOLOX的浮游植物目标检测算法，并在嵌入式计算模组上取得90.9%和20fps 的平均准确率和检测帧率。利用该方法，我们将促进成像流式细胞仪往更加小型化和智能化的方向发展，以便其部署到科考船载和其他现场环境，实现浮游植物的长期动态监测，最终推动相关海洋科学研究和海洋环境监测技术的发展。
浮游生物图像智能分析技术
海洋中的浮游生物无穷无尽，且随着气候的变化、人类生产活动等因素的影响而时刻发生着深刻的变化。我们的浮游生物成像技术大大提高了浮游生物图像的获取效率与质量，与此同时，我们正在研发的浮游生物图像智能化分析技术也在努力缩短成像数据与最终分析结果的最后一段里程。我们利用机器学习、图像处理与机器视觉等先进技术，追求利用智能计算单元自动优化图像质量、自动鉴别浮游生物、从海量数据中自动挖掘关键信息，并最终取得提升系统成像性能、自动执行常规监测分析、协助研究人员产生新发现的效果。
水下原位荧光光谱和吸收光谱技术
传统的以实验室分析为代表的水质监测技术因其时间长、成本高及无法实现在线监测等原因无法满足当前海水、湖沼水、生活用水及污水的水质检测需求。我们研究小组结合荧光光谱技术、紫外可见吸收光谱技术与原位传感器集成技术，研发的水下在线水质成分分析技术可应用于海水、湖沼水、生活用水及污水的水质监测与污染分析。自研的原位全光谱吸光光度计，通过嵌入式系统预存的水质成分模型，可实现化学需氧量（COD）、总有机碳（TOC）、硝酸盐-氮、叶绿素a、有色可溶性物质（CDOM）、浊度等生化常规要素的在线监测。
海洋附着生物幼虫趋光性研究
海洋污损生物会在海洋船舶、设备及仪器等上附着并大量繁衍，严重影响船舶航行速度和海洋设备及仪器的正常使用。因此，我们研究小组开展海洋附着生物的幼虫趋光性研究，采用成像技术研究海洋附着生物幼虫针对光频率与能量密度的响应差异性。通过海洋附着生物幼虫对光的响应差异性研究，从海洋传感器光学设计的角度降低生物污损，提高其单次免维护时间，降低人工成本，为解决海洋污损问题夯实基础。
