Lightmycells2024——明场到荧光成像挑战赛

今天将分享明场到荧光成像挑战赛完整实现版本，为了方便大家学习理解整个流程，将整个流程步骤进行了整理，并给出详细的步骤结果。感兴趣的朋友赶紧动手试一试吧。

一、Lightmycells2024介绍

为了获得荧光显微镜图像，需要用特定的荧光探针和染料对细胞进行手动生化标记处理，既耗时又昂贵。但是，所研究的细胞本身可能会受到荧光显微镜过程的干扰，包括暴露于激发光（光毒性）和探针本身。由于光毒性随着光照而增加，因此会损害长期成像。同样，通过光漂白使荧光团变暗限制了图像的信噪比。此外，添加标记是一种侵入性方法。荧光团可能会阻碍其靶标的分子相互作用，并且蛋白质过度表达会增加其在细胞质中的浓度，从而破坏调节过程。更糟糕的是，荧光团本身可能具有细胞毒性。由于荧光显微镜会引起时间和功能扰动，因此限制实验中使用的荧光探针的数量对于实时显微镜至关重要。相反，明场、相差和 DIC 等无标记透射光显微镜是非侵入性的，光毒性急剧降低，并且在整个采集过程中保持信号质量。这一挑战的生物学目的是从明场图像中恢复计算机荧光图像。

当训练数据库由并不总是包含所有所需通道且具有高度可变性（例如放大倍数、焦点深度、数值孔径）的图像组成时，希望促进基于单个输入的多输出深度学习方法。这导致参与者开发专门用于稀疏输出的新架构和损失函数。

Light My Cells France-生物成像挑战赛旨在促进生物学和显微镜领域新的图像到图像“深度标签”方法的开发。此挑战的目的是产生新的开源方法，可以处理较大的采集变化：Z 轴焦点，多个通道，采集地点，输入模式（明场、相差和微分干涉差 (DIC)）、仪器，放大倍率，细胞，标记。

二、Lightmycells2024任务

从无标记透射光输入图像中预测几个荧光标记细胞器的最佳聚焦输出图像。

三、Lightmycells2024数据集

最初收到带有TCZYX 轴的5D图像：时间、通道、深度（或 Z 轴）、高度（或 Y 轴）、宽度（或 X 轴）。对于此挑战，不需要时间序列图像，因此T轴将始终具有相同的值 (dimension_T=1)。但所有其他轴都是不同的。目标是从第一个通道预测其他通道，因此将初始图像分成几个单通道图像。因此，将仅使用和管理单通道图像 (dimension_C=1)。

该数据库由约 57,000 张2D 图像组成。95% 的数据库将专用于训练数据集。剩余的 5% 将分配如下：~ 10% 用于初步测试阶段 - 并在最后添加到训练数据库 - 剩余的 (90%) 用于最终测试阶段。训练和测试用例都代表透射光显微镜图像（具有三种可能的模式：明场、相差和 DIC）与具有指定细胞器最佳焦点的等效荧光显微镜图像相结合。对于每个图像，采集元数据也将随数据库一起提供。然而，虽然训练数据中具有可用的整个Z层（作为数据的自然增强），但测试案例仅包含精心选择的单层2D图像来表示可变性。为了预测最佳Z焦点，不会在测试阶段提供完整层数数据。

训练数据库的结构

测试数据库将经过仔细选择，以代表所有类型的变异性。为此，它将在选定的代表性变异性和未见数据中包含少量随机分区：将保留一个采集站点用于在最后阶段测试所有模式。

测试数据库分为两个阶段的两组测试数据。初步测试数据集将包含 30 张图像，最终的测试数据集将包含 300 张图像。

数据集下载链接：

https://seafile.lirmm.fr/d/123f71e12bf24db59d84/

评价指标：平均绝对误差 (MAE)，结构相似性系数（SSIM），皮尔逊相关系数 (PCC)，欧几里得和余弦距离（ECD）（纹理度量）。

四、技术路线

1、分析图像可以看到明场图像和荧光图像具有空间位置一一对应的关系，所以采用Pixel2PixelGAN网络的生成器将明场图像生成荧光图像，然后再通过判别器来判断荧光图像和生成荧光图像。

2、由于明场图像由不同个数焦平面图像组成，个数至少是1。为了统一输入，将一个案例数据下的全部焦平面明场图像进行加权平均处理生成一张明场图像，目标输出图像由不同个数荧光图像组成，个数至少是1，最多是4，所以就将目标输出统一成4个输出，一个案例数据下如果有一些类别荧光图像是缺失的，就用空图像做为补充。

3、由于图像是灰度图像所以对明场和荧光图像都进行0-1范围归一化处理，并缩放到1024x1024。将数据划分成训练集和验证集。

4、搭建Pixel2PixelGAN网络，生成器和判别器都使用Adam优化器，学习率是0.0002，batchsize是6，epoch是100，损失函数是采用对抗损失MSE和重构损失L1。

5、训练和验证结果

6、验证部分生成结果

第一张图像是明场图像，第二张图像左侧是金标准荧光图像，右侧是预测荧光图像。