大家好，本次分享我将结合芒果TV音视频技术研发团队的实践，对主观感兴趣区域的视频编码技术进行详细解析。内容包括以上四个部分，其中会重点介绍我们在主观感兴趣区域编码工程化中遇到的一些问题与思考。
之前的文章简要介绍了Faster-RCNN等物体检测的算法，本文将从代码角度详细分析介绍Faster-RCNN的实现。本文使用的代码参考了chenyuntc的实现，代码的位置看这里。需要注意的是，本文使用的框架是Pytorch。
这是CVPR2016的一篇论文，用于目标检测，本篇博文先介绍这个算法，然后介绍其Caffe代码。
本期我们提供 MMTracking 里视频目标检测（VID）任务的食用指南，以及 AAAI2021 论文《Temporal RoI Align for Video Object Recognition》的论文解读以及其在 MMTracking 下的实现细节。
感兴趣区域(ROI，region of interest)，在机器视觉、图像处理中，在被处理的图像上以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，称为感兴趣区域，简称ROI。在图像处理领域，感兴趣区域是从图像中选择的一个图像区域，这个区域是图像分析所关注的重点。圈定该区域以便进行进一步处理，或使用ROI圈定你想处理的目标，可以减少处理时间，提高精度。
注意代码中 分别代表 kfb 与 对应 json 文件 file1 = “pos_1/”+sample+".kfb" label1 = “labels/”+sample+".json" 请根据自己文件位置定义
哈喽，大家好，今天我们一起学习一下三个重要的概念：RoI，RoI pooling 和 RoI Align
1 导读 本文详细讲解了 RoIPooling 、RoIAlign 和 RoIWarp ，用非常的图来帮助理解，相信通过本文阅读能让你对这三者有更加深刻的理解 如果对你有所帮助请点个在看、点或分享，鼓励一下小编
有过计算机视觉和影像组学数据分析经验的朋友，对感兴趣区域（region of interest，ROI）不会感到陌生。感兴趣区域就像它的字面意思一样直白，哪些区域您比较感兴趣？空间表达数据也允许我们在空间信息中找出这个ROI了。那么，在我们空间表达数据中的ROI是什么，有什么意义，如何确定？确定之后如何分析？这些有意思的议题，我们会在这篇文章中探讨。
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
OHEM算法提出于论文 Training Region-based Object Detectors with Online Hard Example Mining，链接：https://arxiv.org/abs/1604.03540。在hard example（损失较大的样本）反向传播时，可以减少运算量。
图像分类和目标检测是计算视觉领域的两个基础任务，Region-based ConvNet将目标检测问题转化为图像分类问题，使得目标检测领域出现了巨大的技术突破，同时也引入了难以处理的heuristics和hyperparameters问题。OHEM(Online Hard Example Mining)算法的思想很简单：在训练数据集中往往存在大量的简单样本(easy examples)和少量的困难样本(hard examples)，easy examples对于模型的训练贡献较小，hard examples更加有助于提升模型训练的效率和效果，OHEM算法将hard examples自动化的筛选出来运用到模型训练中去，从而获得较好的模型效果。
抓取物体堆叠和重叠场景中的特定目标是实现机器人抓取的必要和具有挑战性的任务。在本文中，我们提出了一种基于感兴趣区域（RoI）的机器人抓取检测算法，以同时检测目标及其在物体重叠场景中的抓取。我们提出的算法使用感兴趣区域（RoIs）来检测目标的分类和位置回归。为了训练网络，我们提供了比Cornell Grasp Dataset更大的多对象抓取数据集，该数据集基于Visual Manipulation Relationship Dataset。实验结果表明，我们的算法在1FPPI时达到24.9％的失误率，在抓取我们的数据集时达到68.2％的mAP。机器人实验表明，我们提出的算法可以帮助机器人以84％的成功率掌握多物体场景中的特定目标。
**RoI（Region of Interest）**是从原始图像或特征中提取的区域。
液相色谱与质谱联用（LC-MS）是代谢组学中最受欢迎的分析平台之一。尽管基于LC-MS的代谢组学应用程序种类繁多以及分析硬件的发展，但是LC-MS数据的处理仍然遇到一些问题。最关键的瓶颈之一是原始数据处理，LC-MS原始数据通常由成千上万的原始MS质谱图组成；每个光谱都有其自己的序列号，并且该数目随保留时间（RT）的增加而增加。这些数据通常包含数千个信号，使得手动数据处理几乎变得不可能。当前用于自动LC-MS数据处理的流程通常包括以下步骤：（1）检测感兴趣区域（ROI）；（2）检测色谱峰，然后对其进行积分；（3）所有样品的峰匹配（分组）；（4）通过注释相应的加合物和碎片离子将属于同一代谢物的峰聚类为一组。
少样本目标检测任务目的：给定support images，在query image找到所有与support images中种类相同的物体，如下图。
人脑的连接是复杂的，包括功能连接和结构连接。基于图论的分析已经成为分析脑成像数据的一种强大而流行的方法，这主要是因为它有可能定量地阐明网络、结构和功能的静态结构、随时间变化的动态行为组织以及与疾病相关的脑变化。创建脑网络的第一步是定义连接它们的节点和连边，本文回顾了许多定义脑节点的方法，包括固定的节点和数据驱动的节点。扩展了大多数静息态/单模态脑连接研究的视角，阐述了构建动态和多模态脑网络的先进方法以及这些方法的性能。展示了来自健康对照组和精神疾病患者的模拟的和真实数据的结果。最后，概述了这些不同技术的优势和挑战。通过对近年来基于图论的脑成像数据分析研究的总结和考察，为探索复杂脑网络提供了新的有力工具。本文发表在Proceedings of the IEEE杂志。
1.输入一张图片，进行数据预处理（尺寸，归一化等等） 2.将处理好的图片传入预训练的神经网络中(ResNet等，优秀的主干特征提取网络)获得相应的feature map。3.通过feature map中的每一点设定ROI，获得多个ROI候选框 4.对这些多个ROI候选框送到RPN中进行二值分类（前景或后景）和BB回归(Bounding-box regression),过滤掉一部分候选的ROI。5.对剩下的ROI进行ROI Align操作（即先将原图和feature map的pixel对应起来，然后将feature map和固定的feature对应起来） 6.对这些ROI进行分类（N类别分类），BB回归和Mask生成（在每一个ROI里面进行FCN操作）。
经过前面三节，我们已经大概上讲清楚了如何构造一个完整的Faster RCNN模型以及里面的代码实现细节，这一节呢主要来解析一下工程中更外围一点的东西，即train.py和trainer.py，这将教会我们如何使用已经搭建好的Faster RCNN网络。解析代码地址为：https://github.com/BBuf/simple-faster-rcnn-explain 。
最明显的是，这种方式至少会存在一种问题，即无法剔除自然增长所带来的效果，比如历史数据显示ROI经常随季节行情大幅波动，像电商类广告主在双11期间ROI会特别高，而游戏类广告主在寒暑假期间ROI会有一定幅度的增长。
在基于区域的卷积神经网络的浪潮中，目标检测领域已经取得了显著的进展，但是它们的训练过程仍然包含许多尝试和超参数，这些参数的调优代价很高。我们提出了一种简单而有效的在线难样本挖掘(OHEM)算法，用于训练基于区域的ConvNet检测器。我们的动机和以往一样——检测数据集包含大量简单示例和少量困难示例。自动选择这些困难的例子可以使训练更加有效。OHEM是一个简单直观的算法，它消除了几种常见的启发式和超参数。但更重要的是，它在基准测试(如PASCAL VOC2007和2012)上产生了一致且显著的检测性能提升。在MS COCO数据集上的结果表明，当数据集变得更大、更困难时，它的效率会提高。此外，结合该领域的互补进展，OHEM在PASCAL VOC 2007和2012年的mAP上分别取得了78.9%和76.3%的最新成果。
在本篇博客中，我们将使用Google Earth Engine (GEE) 对蒸散发 (Evapotranspiration, ET) 和作物水分胁迫指数 (Crop Water Stress Index, CWSI) 进行分析。通过MODIS数据集，我们可以评估2001年至2024年间的水分状况和作物生长环境。
本篇博客将介绍如何使用Google Earth Engine (GEE) 对Sentinel-2数据进行归一化差异水体指数（NDWI）和归一化差异植被指数（NDTI）的分析。这些指数有助于识别水体和植被覆盖情况。
在没有出现sppnet之前，RCNN使用corp和warp来对图片进行大小调整，这种操作会造成图片信息失真和信息丢失。sppnet这个模型推出来之后（关于这个网络的描述，可以看看之前写的一篇理解：http://www.cnblogs.com/gongxijun/p/7172134.html），rg大神沿用了sppnet的思路到他的下一个模型中fast-rcnn中，但是roi_pooling和sppnet的思路虽然相同，但是实现方式还是不同的.我们看一下网络参数: layer { name: "roi_poo
由于RCNN存在流水线过长，检测速度慢的问题，Fast-RCNN几乎将整个过程置于深度学习的框架下，因此带来了准确率和速度的提升，该系统主要组成部分如上图所示，有：
目录： 1. 序言 2.正文 2.1 关于ROI 2.2 关于RPN 2.3 关于anchor 3. 关于数据集合制作 4
本篇博客将介绍如何使用Google Earth Engine (GEE) 进行雪盖监测和分析。通过MODIS MOD10A1数据集，我们可以识别2010年至2015年间的雪盖范围，并计算其面积。
今天将分享Unet的改进模型Seg-GLGAN，改进模型来自2020年的论文《A CONTEXT BASED DEEP LEARNING APPROACH FORUNBALANCED MEDICAL IMAGE SEGMENTATION》，简单明了给大家分析理解该模型思想。
面部关键点也称为面部地标，通常指定面部的鼻子，眼睛，嘴巴等区域，该面部按68个关键点分类，并带有该坐标的坐标（x，y）。使用面部关键点，可以实现面部识别，情绪识别等。
在本篇博客中，我们将使用Google Earth Engine (GEE) 进行洪水灾害监测。通过分析Sentinel-1雷达数据，我们可以识别特定时间段内的洪水变化情况。
在本篇博客中，我们将使用Google Earth Engine (GEE) 对特定区域内的地形进行分析。我们将使用SRTM（Shuttle Radar Topography Mission）数据集获取高程信息，并计算坡度、坡向等地形属性。此外，我们还将使用ALOS（Advanced Land Observing Satellite）数据集来分析数字地表模型（DSM）。
原文找不到了，是国内外在OpenMV上面实现得唯一得无人机循迹代码，欢迎主人来认领~
Training Region-based Object Detectors with Online Hard Example Mining
传统的CNN中，convolution 和 pooling 的操作已被定死。只能在方正死板的区域内按部就班地映射操作：
2019出现的一个可以在移动端实时运行的人脸3D表面提取模型-FaceMesh，被很多移动端AR应用作为底层算法实现人脸检测与人脸3D点云生成。相关的论文标题为：
在过去的几十年中，大量的fMRI研究已经表明自发性大脑活动以特定脑区信号之间的同步化增强为特点，而这些在静息状态下表现出活动信号同步化增强的脑区称之为静息态网络（resting-state networks，RSN）。其中一个研究最多的RSN是默认网络（default-mode network，DMN），其在静息状态下的激活程度最高。DMN主要包括后扣带回（posterior cingulate cortex, PCC）、内侧前额叶、内侧颞叶（medial temporal lobe，MTL）和顶叶下回。
本文介绍基于ENVI软件，实现最小距离法、最大似然法与支持向量机三种遥感图像监督分类方法的具体操作，同时进行分类后处理操作，并对不同分类方法结果加以对比分析。
ResNet-101 + R-FCN：83.6% in PASCAL VOC 2007 test datasets
尽管个体受试者可以通过静息态功能MRI(rsfMRI)数据计算的相关矩阵进行高精度识别，但随着扫描时间的减少，识别性能显著下降。循环神经网络可以在短持续时间(72 s)的数据段中获得较高的精度，但其被设计为使用不存在于相关矩阵中的时间特征。在这里,我们表明,浅前馈神经网络,仅仅依靠rsfMRI 相关矩阵的信息，以20s的短数据段，就可以实现先进的识别精度(≥99.5%)。
在本篇博客中，我们将使用Google Earth Engine (GEE) 对土地覆盖变化进行年度和月度的分析。通过Google的Dynamic World数据集，我们可以识别2023年至2024年间土地覆盖的类型和变化。
目标检测是计算机视觉和模式识别的重要研究方向，主要是确定图像中是否有感兴趣的目标存在，并对其进行探测和精确定位。传统的目标检测流程采用滑动窗口进行区域选择，然后采用 SIFT、HOG 等方法进行特征提取，最后采用 SVM、Adaboost 进行类别判断。但是传统的目标检测方法面临的主要问题有：特征提取鲁棒性差，不能反应光照变化、背景多样等情况；区域选择没有针对性，时间复杂度高，窗口冗余。基于深度学习的目标检测模型有 Faster RCNN，Yolo 和 Yolo2，SSD 等，对图片中的物体进行目标检测的应用示例如下所示：
知名的社会化媒体监测公司Radian6发表了关于《社会化媒体的ROI（投资回报率）》的白皮书，对社会化媒体投资回报率的疑点、真实情况和如何监测ROI进行了解读。看了一下觉得挺有价值的，于是将主要部分进行翻译。
从train.py中的主要函数可以看出，主要的步骤涉及训练数据和测试数据的预处理，网络模型的构建（Faster RCNN），然后就是迭代训练，这也是通用的神经网络搭建和训练的过程。在Faster Rcnn网络模型中主要包含Extractor、RPN和RoIhead三部分。网络中Extractor主要是利用CNN进行特征提取，网络采用的VGG16；RPN是候选区网络，为RoIHead模块提供可能存在目标的候选区域（rois）；RoIHead主要负责rois的分类和微调。整体的框架图如下图所示：
科研人员除了科研能力，如果能具备优秀的工程能力，将是非常棒的。本文记录了detectron pytorch版本的代码结构笔记，一起来学习一下大神优美的工程架构。 detection pytorch link: https://github.com/roytseng-tw/Detectron.pytorch
社交障碍是自闭症谱系障碍(ASD，Autism Spectrum Disorders)的标志，但是在ASD研究中缺乏针对社交性刺激引起早期社交脑网络改变的证据。我们记录了ASD学步儿童及其正常发育（TD, typically developing）的同伴在探索动态社交场景时的注视方式和大脑活动。基于电信号溯源的定向功能连接分析，揭示了theta和alpha频率的特定频率非典型脑网络。结果发现，与自闭症相关的社交网络的关键节点信息在传输和连接方式均发生了变化。对ASD脑与行为关系的分析表明，来自背顶额叶，颞下叶和岛状皮层区域的补偿机制与较少的非典型注视模式和较低的临床障碍有关。本结果提供了有力的证据表明：社交脑网络的定向功能连接改变是ASD大脑早期非典型发育的核心组成部分。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议
