Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Python执行hive sql

Python执行hive sql

作者头像
py3study
发布于 2020-01-07 02:31:03
发布于 2020-01-07 02:31:03
4.1K00
代码可运行
举报
文章被收录于专栏:python3python3
运行总次数:0
代码可运行

该python脚本是用于执行hive脚本的,需要设置hive的可执行环境变量,其实质转化为shell下命令 hive -e 'sql语句’ 的方式执行,然后把结果重定向到控制台显示。注:由于该脚本是直接调用shell中的hive命令,所以需要在安装hive的服务器上执行。

使用前置条件:(1)安装hadoop和hive,并启动完hadoop;(2)已配置好hive的环境变量,确保在shell中能正常执行hive。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
#!/usr/bin/python
#-*-coding:utf-8 -*-

import subprocess
import traceback

sql = """
# 书写hql脚本
;
"""
cmd = 'hive -e """'+sql.replace('"', "\'")+'"""'
print cmd
try:
    p = subprocess.Popen(cmd, shell=True, stdout=subprocess.PIPE)
    while True:
        buff = p.stdout.readline()
        print buff
        if buff == '' and p.poll() != None:
            break

except Exception,re:
    print "message is:%s" %(str(re))
    traceback.print_exc();

脚本举例

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
#!/usr/bin/python
#-*-coding:utf-8 -*-
import subprocess
import traceback
sql = """
  select * from app_tianhe_zym_item_reason_dtl_da where order_dt = '2016-01-26' limit 10;
"""
cmd = 'hive -e """'+sql.replace('"', "\'")+'"""'
print cmd
try:
    p = subprocess.Popen(cmd, shell=True, stdout=subprocess.PIPE)
    while True:
        buff = p.stdout.readline()
        print buff
        if buff == '' and p.poll() != None:
            break
except Exception,re:
    print "message is:%s" %(str(re))
    traceback.print_exc();
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2019/09/09 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
解决3D重建难题,伯克利大学根据单张平面彩图重建高精度3D结构
【新智元导读】3D重建是计算机视觉中的一个核心问题,应用于电影制作、视频游戏的内容制作、虚拟现实和增强现实、3D打印,等等。伯克利大学的研究团队提出根据单张彩色平面图像重建出高质量的3D几何图形的新方法,相比其他基线方法效果更好。 论文地址:https://arxiv.org/pdf/1704.00710.pdf 从平面图像重建3D几何图形是计算机视觉中的一个核心问题。3D重建有许多应用,例如电影制作、视频游戏的内容制作、虚拟现实和增强现实、3D打印,等等。这篇文章探讨如何从单一的彩色图像重建高质量的3D几
新智元
2018/03/22
9820
解决3D重建难题,伯克利大学根据单张平面彩图重建高精度3D结构
学界 | UC Berkeley新研究:多视角图像3D模型重建技术
选自BAIR 作者:Abhishek Kar 机器之心编译 参与:李泽南、蒋思源 想象一下图片中的椅子。人类具有无与伦比的推理能力,可以在看到单张图片的情况下想象出整个椅子的 3D 形状——即使你从未
机器之心
2018/05/08
2.2K0
学界 | UC Berkeley新研究:多视角图像3D模型重建技术
学习多视图立体机
去考虑看一张椅子的照片。即使我们以前从未见过这样的椅子,但我们人类有出色的能力,可以从这单张照片中推断出这张椅子的三维形状。可以证明人类经验主义的一个更具代表性的例子就是,我们和椅子共处于同一个物理空间中,并从不同的角度积累信息,在我们的脑海中可以组建起这个椅子的三维形状。这个复杂的二维到三维的推理任务,我们是怎样完成的?我们又是使用什么样的线索? 从仅有的几个视角,我们是怎样无缝整合这些信息并且建立一个整体的三维场景模型?
花落花飞去
2018/02/01
2.3K0
从普通照片到掌上空间——3D点云空间重建技术
腾讯多媒体实验室专栏 基于全景图的空间场景重建技术在各类沉浸式媒体解决方案中有着广泛的应用,比如 VR 看房,虚拟展厅等,也是近年来学术界和工业界在积极研究的一个难题。本文主要介绍了腾讯多媒体实验室在该领域的研究进展。通过自研深度学习网络和 3D 计算机视觉技术的结合,解决了在复杂场景下全景图点云重建的难题,成功实现了通过全景图即可算法重建空间点云的效果。目前,该技术已经应用于腾讯多媒体·点云产品中。 随着三维视觉技术的发展,三维视觉已经逐步渗透到各个领域,在 AR / VR、自动驾驶、三维重建等领域
腾讯多媒体实验室
2021/03/19
4.1K0
从单幅图像到双目立体视觉的3D目标检测算法(长文)
经典的计算机视觉问题是通过数学模型或者统计学习识别图像中的物体、场景,继而实现视频时序序列上的运动识别、物体轨迹追踪、行为识别等等。然而,由于图像是三维空间在光学系统的投影,仅仅实现图像层次的识别是不够的,这在无人驾驶系统、增强现实技术等领域表现的尤为突出,计算机视觉的更高层次必然是准确的获得物体在三维空间中的形状、位置、姿态,通过三维重建技术实现物体在三维空间的检测、识别、追踪以及交互。近年来,借助于二维图像层面的目标检测和识别的性能提升,针对如何恢复三维空间中物体的形态和空间位置,研究者们提出了很多有效的方法和策略。
小白学视觉
2019/08/09
3.9K0
从单幅图像到双目立体视觉的3D目标检测算法(长文)
​使用端到端立体匹配网络进行单次 3D 形状测量,用于散斑投影轮廓测量
标题:Single-shot 3D shape measurement using an end-to-end stereo matching network for speckle projection profilometry
3D视觉工坊
2021/12/17
9930
​使用端到端立体匹配网络进行单次 3D 形状测量,用于散斑投影轮廓测量
小白系列(5)| 计算机视觉:3D立体视觉
本文中,我们将讨论立体视觉,这是一种使用两个或多个摄像机来生成全视场三维测量的机器视觉技术。
一点人工一点智能
2023/09/04
8670
小白系列(5)| 计算机视觉:3D立体视觉
《探索C++在3D重建中的算法与技术要点》
3D重建作为计算机视觉领域的重要技术,在诸多行业有着广泛应用,而C++以其高效性和对底层硬件的良好控制,成为实现3D重建算法的常用语言。以下是利用C++进行3D重建的一些常见算法和技术要点。
程序员阿伟
2024/12/18
1090
帮林志颖修脸的3D重建,用两块A100加二维CNN就可以实现!
---- 新智元报道   编辑:武穆 【新智元导读】不用三维构图的三维重建,速度能到每帧73ms。 三维重建(3D Reconstruction)技术一直是计算机图形学和计算机视觉领域的一个重点研究领域。 简单说,三维重建就是基于二维图像,恢复三维场景结构。 据说,林志颖出车祸后,他的面部重建方案就用到了三维重建。 三维重建的不同技术路线,有望融合 其实,三维重建技术已在游戏、电影、测绘、定位、导航、自动驾驶、VR/AR、工业制造以及消费品领域等方面得到了广泛的应用。 随着GPU和分布式计算的发展
新智元
2022/09/27
1970
帮林志颖修脸的3D重建,用两块A100加二维CNN就可以实现!
3D重建传统算法对比深度学习,SFU谭平:更需要的是二者的融合
近日,机器之心发表文章《 3D 重建:硬派几何求解 vs 深度学习打天下?》,对几何与深度学习两种方法进行了对比。
机器之心
2019/07/18
2.9K0
3D重建传统算法对比深度学习,SFU谭平:更需要的是二者的融合
3D视觉技术在机器人抓取作业中的应用实例
摘要:近年来,机器人自动化领域越来越多地应用3D视觉技术对目标物体进行定位。本文主要研究3D视觉技术在机器人抓取作业中的应用,总结了3D视觉技术在识别、定位物体时面临的挑战,给出了抓取作业机器人3D视觉系统的设计方法,归纳了现有的3D表面成像方法和视觉处理算法,最后给出一个结合3D视觉技术对白色抽屉纸盒进行抓取分拣的实际应用案例。
小白学视觉
2019/11/14
3.3K0
3D相机的数据处理方式
在上一篇中,我们介绍了什么是3D相机。但是对于初次接触3D相机的同学,可能首先面临的问题是如何处理3D相机得到的数据。3D相机的数据分为两种方式:三维点云数据方式,二维数据方式。其中,三维数据保存的格式有csv,txt,ply,stl等。二维数据通常以二维图像的形式存在,其中保存Z方向的二维图像被称为深度图像。本篇主要介绍一下深度图像的生成与处理。
3D视觉工坊
2021/01/13
5170
3D相机的数据处理方式
多视图立体视觉: CVPR 2019 与 AAAI 2020 上的ACMH、ACMM及ACMP算法介绍
---- 新智元报道   来源:我爱计算机视觉 作者:孔维航 【新智元导读】在三维重建任务中,由于数据量大、弱纹理、遮挡、反射等问题,如何高效准确地实现多视图立体视觉仍然是一个具有挑战性的问题。 多视图立体视觉(MVS)一直是计算机视觉研究的一个热点。它的目的是从多个已知相机姿态的图像中建立密集的对应关系,从而产生稠密的三维点云重建结果。在过去的几年里,人们在提高稠密三维重建的质量上付出了很大的努力,一些算法如PMVS、GIPUMA以及COLMAP等取得了令人印象深刻的效果。 然而,在三维重建任务中,
新智元
2023/05/22
8240
多视图立体视觉: CVPR 2019 与 AAAI 2020 上的ACMH、ACMM及ACMP算法介绍
从单幅图像到双目立体视觉的3D目标检测算法
经典的计算机视觉问题是通过数学模型或者统计学习识别图像中的物体、场景,继而实现视频时序序列上的运动识别、物体轨迹追踪、行为识别等等。然而,由于图像是三维空间在光学系统的投影,仅仅实现图像层次的识别是不够的,这在无人驾驶系统、增强现实技术等领域表现的尤为突出,计算机视觉的更高层次必然是准确的获得物体在三维空间中的形状、位置、姿态,通过三维重建技术实现物体在三维空间的检测、识别、追踪以及交互。近年来,借助于二维图像层面的目标检测和识别的性能提升,针对如何恢复三维空间中物体的形态和空间位置,研究者们提出了很多有效的方法和策略。
SIGAI学习与实践平台
2019/08/01
1.9K0
三维重建方法
最近在看三维重建方面的论文,进行一下知识总结。 三维重建技术 三维重建技术就是要在计算机中真实地重建出该物体表面的三维虚拟模型,构建一个物体完整的三维模型,大致可以分为三步: 利用摄像机等图像采集设备对物体的点云数据从各个角度釆集,单个摄像机只能对物体的一个角度进行拍摄,要获得物体表面完整信息,需要从多个角度对物体拍摄; 将第一步获得的各视角点云数据变换到同一个坐标系下,完成多视角点云数据的配准; 根据配准好的点云数据构建出模型的网格表面。 三维重建方法 目前根据重建方式的不同,主要有以下几种重建方法: 双
武培轩
2018/04/18
1.5K0
三维重建方法
基于双目深度估计的深度学习技术研究
英文标题: A Survey on Deep Learning Techniques for Stereo-based Depth Estimation 论文地址: https://arxiv.org/abs/2006.02535
用户1150922
2020/09/10
2.4K0
基于双目深度估计的深度学习技术研究
空间解析:多视角几何在3D打印中的应用
多视角几何是计算机视觉中的一个分支,它涉及到从多个视角捕获的二维图像中恢复出三维结构。这项技术在3D打印领域中发挥着至关重要的作用,它允许从现有的二维图像或通过多视角拍摄创建出三维模型,进而可以被3D打印机所使用。本文将探讨多视角几何技术在3D打印中的具体应用。
数字扫地僧
2024/05/04
2410
RoadBEV:鸟瞰视图下的路面重建
摘要:道路的路面状况,特别是几何轮廓,对自动驾驶车辆的行驶性能有着巨大影响。基于视觉的在线道路重建技术能够提前获取精确的道路信息,具有很大的潜力。然而,现有的解决方案如单目深度估计和立体匹配的性能还比较一般。最近的鸟瞰视图(Bird’s-Eye-View,BEV)感知技术为更可靠准确的重建提供了巨大的潜力。
一点人工一点智能
2024/04/22
4910
RoadBEV:鸟瞰视图下的路面重建
IDA-3D:基于立体视觉的自动驾驶深度感知的3D目标检测
标题:IDA-3D: Instance-Depth-Aware 3D Object Detection from Stereo Vision for Autonomous Driving
3D视觉工坊
2020/11/19
9660
IDA-3D:基于立体视觉的自动驾驶深度感知的3D目标检测
个人如何更高效地学习3D视觉?
很多粉丝在公众号后台留言,不知如何入门3D视觉、3D领域的主线是什么,一些难点该如何解决,有哪些方法,导师新开的3D视觉方向无人指导等等。这些痛点,工坊的许多童鞋都踩过坑,也为大家提出了许多非常有价值的问题和解决思路,涵盖了计算机视觉与深度学习、点云处理、SLAM、三维重建、结构光、双目视觉、深度估计、3D检测、自动驾驶、多传感器融合等多个方向,超详细的问题和资料汇总请移步至【3D视觉从入门到精通知识星球】,一个有点干货的学习社区!
3D视觉工坊
2021/01/28
1.7K0
个人如何更高效地学习3D视觉?
推荐阅读
相关推荐
解决3D重建难题,伯克利大学根据单张平面彩图重建高精度3D结构
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验