首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    shuffle 中环形缓冲区

    shuffle中环形缓冲区使用于map shuffle阶段存放map的缓存数据,当缓冲区的数据达到一定比率(80%)就会将缓冲区的数据刷写到磁盘文件中,在刷盘之前,会对数据分区、排序、合并,对缓冲区的操作是边写入边读取的过程,二者互不影响,提升写入的速率,读写过程就是一个生产者、消费者模式,生产者向环形缓冲区中写入数据,消费者从环形缓冲区中读取数据并且写入磁盘。环形缓冲区在物理上是一组连续的空间地址,在逻辑上是首尾相连的环形空间,通过使用下标实现环形,初始read=write=index=0,read下一个读取位置,write下一次写入位置,index 刷盘的结束位置,每一次写入write++,当缓存达到一定比率,执行读取线程开启,将index=write,那么将读取read~index-1区间的数据写入磁盘,此时write继续接受数据写入,当数据读取完read=index,继续进行下一次读取操作,需要注意当下标达到临界点即缓冲区数组的大小时需要进行下标索引的转换,例如当read=array.length,需要read=0。

    05

    无锁环形缓冲区的详细解释

    由以下博客的分析可以知道,内核的kfifo使用了很多技巧以实现其高效性。比如,通过限定写入的数据不能溢出和内存屏障实现在单线程写单线程读的情况下不使用锁。因为锁是使用在共享资源可能存在冲突的情况下。还用设置buffer缓冲区的大小为2的幂次方,以简化求模运算,这样求模运算就演变为 (fifo->in & (fifo->size – 1))。通过使用unsigned int为kfifo的下标,可以不用考虑每次下标超过size时对下表进行取模运算赋值,这里使用到了无符号整数的溢出回零的特性。由于指示读写指针的下标一直在增加,没有进行取模运算,知道其溢出,在这种情况下写满和读完就是不一样的标志,写满是两者指针之差为fifo->size,读完的标志是两者指针相等。后面有一篇博客还介绍了VxWorks下的环形缓冲区的实现机制点击打开链接,从而可以看出linux下的fifo的灵巧性和高效性。

    03
    领券