前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >python调用谷歌翻译

python调用谷歌翻译

作者头像
小贝壳
发布于 2020-03-05 06:59:35
发布于 2020-03-05 06:59:35
2.8K00
代码可运行
举报
文章被收录于专栏:贝塔博客贝塔博客
运行总次数:0
代码可运行

在平时使用谷歌翻译的过程中,经常会遇到需要批量翻译大量文本的情景,这种时候需要调用谷歌翻译的API

首先可以使用python库googletrans

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
pip install googletrans
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
#使用方法from googletrans import Translator
translator = Translator(service_urls=['translate.google.cn'])
source = '我还是不开心!'text = translator.translate(source,src='zh-cn',dest='en').text
print(text)"i'm still not happy!"

但是在面对大规模需要翻译的句子时就会很慢,所以可以使用协程的方法。 这里我们使用了基于gevents库的grequests库。 仔细看了下googletrans库的核心代码,发现主要是构造一个url,然后发起get请求,得到一个json的结果,从中提取出翻译结果。 构造url的过程需要一个token,根据某些规则生成,所以为了方便还是调用googletrans的部分函数。

具体的参考代码如下: 这里是将德语(de)翻译成英语(en),代码中需要相应修改。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
import grequestsimport loggingimport jsonfrom googletrans import Translatorfrom googletrans.utils import format_json
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'}
translator = Translator(service_urls=['translate.google.cn'])
logging.basicConfig(level = logging.INFO,format = '%(asctime)s - %(name)s - %(levelname)s - %(message)s',filename='log.txt')
logger = logging.getLogger()def exception_handler(request, exception):
    logger.warning('exception when at %s :%s',request.url,exception)def work(urls):
    reqs = (grequests.get(u,verify=True, allow_redirects=True, timeout=4) for u in urls)
    res = grequests.map(reqs, exception_handler=exception_handler,size=20)    return resdef totaltranslate():
    file2 = open('de2en_en.txt',mode='a',encoding='utf-8')    with open('de.txt',mode='r',encoding='utf-8') as f:
        urls = []
        num = 0
        for line in f:
            num+=1
            line = line.strip()
            token = translator.token_acquirer.do(line)
            url="https://translate.google.cn/translate_a/single?client=t&sl=de&tl=en&hl=en&dt=at&dt=bd&dt=ex&dt=ld&dt=md&dt=qca&dt=rw&dt=rm&dt=ss&dt=t&ie=UTF-8&oe=UTF-8&otf=1&ssel=3&tsel=0&kc=1&tk={0}&q={1}".format(token,line)
            urls.append(url)            if len(urls) >= 50:
                res = work(urls)                for r in res:                    if hasattr(r,'status_code'):                        if r.status_code == 200:                            try:
                                a=format_json(r.text)
                                target = ''.join([d[0] if d[0] else '' for d in a[0]])
                                source = ''.join([d[1] if d[1] else '' for d in a[0]])                            except Exception as e:
                                logger.error('when format:%s',e)
                                logger.error('%s\n%s',r.text)
                                source = ''
                                target = ''
                            if len(source) != 0 and len(target) != 0:
                                file2.write(target+'\n')                            else:
                                file2.write('\n')                        else:
                                file2.write('\n')
                urls = []
                logger.info('finish 50 sentence, now at %s',num)
    file2.close()def sentencetranslate(line):
    line = line.strip()
    text = translator.translate(line,src='de',dest='en').text    return textdef completetranslate():
    file1 = open('de2en_en.txt',mode='r',encoding='utf-8')
    file2 = open('new_de2en_en.txt',mode='a',encoding='utf-8')
    i = 1
    with open('de.txt',mode='r',encoding='utf-8') as f:        for line in f:
            t = file1.readline()            if len(t) == 1:#'only \n'
                text = sentencetranslate(line)
                file2.write(text+'\n')            else:
                file2.write(t)
            i += 1
            if i%100 == 0:
                print(i)
    file1.close()
    file2.close()if name == "main":
    totaltranslate()
    completetranslate()totaltranslate()以及翻译了大部分的句子,但是可能因为某些原因有一些句子没有翻译,所以还需要completetranslate()来补全翻译结果。在grequests.map()中size设置为20的情况下,平均每秒翻译20句。
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2019-05-09,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
MySQL(一)基本架构
连接到数据库,负责跟客户端建立连接、获取权限、维持和管理连接,命令通常是mysql -h$ip -P$port -u$user -p.
JNJYan
2019/03/04
8520
MySQL(一)基本架构
【MySQL 系列】MySQL 架构篇
Server 层:负责建立连接、分析和执行 SQL。MySQL 大多数的核心功能模块都在这实现,主要包括连接池,执行器、优化器、解析器、预处理器、查询缓存等。另外,所有的内置函数(如日期、时间、数学和加密函数等)和所有跨存储引擎的功能(如存储过程、触发器、视图等)都在 Server 层实现;
栗筝i
2024/03/19
2.3K0
【MySQL 系列】MySQL 架构篇
MySQL基础架构之查询语句执行流程
而我们的连接器就是处理这个过程的,连接器的主要功能是负责跟客户端建立连接、获取权限、维持和管理连接,连接器在使用的过程中如果该用户的权限改变,是不会马上生效的,因为用户权限是在连接的时候读取的,只能重新连接才可以更新权限
星哥玩云
2022/08/17
1.2K0
MySQL基础架构之查询语句执行流程
一条查询SQL的执行过程
需要从数据库检索某些符合要求的数据,我们很容易写出 Select A B C FROM T WHERE ID = XX 这样的SQL,那么当我们向数据库发送这样一个请求时,数据库到底做了什么?
JAVA日知录
2020/05/29
1.4K0
一条查询SQL的执行过程
MySQL整体架构
Server 层包括连接器、查询缓存、分析器、优化器、执行器等,涵盖 MySQL 的大多数核心服务功能,以及所有的内置函数(如日期、时间、数学和加密函数等)。所有跨存储引擎的功能都在这一层实现,比如存储过程、触发器、视图等。
张申傲
2020/09/03
7200
MySQL整体架构
MySQL:概述
MySQL是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。
栗筝i
2022/12/01
5530
MySQL:概述
MySQL笔记-基本架构
本文以及接下来的几篇 MySQL 笔记是本人在「极客时间」的专栏『MySQL实战45讲』和掘金小册「MySQL 是怎样运行的:从根儿上理解 MySQL」的学习笔记整理,并参考了一些其他材料加上个人的总结和思考。顺便推荐下这两个专栏。
WriteOnRead
2019/09/05
5550
MySQL笔记-基本架构
mysql学习笔记(一)sql语句执行
我们可以看到mysql分为Server层和存储引擎两部分。Server层包含了连接器、缓存、分析器、优化器、执行器,并且所有的存储过程、触发器等存储功能都在这一层实现。
虞大大
2020/11/12
2.1K0
mysql学习笔记(一)sql语句执行
MySQL提升笔记(1):MySQL逻辑架构
当客户端(应用)连接到MySQL服务器时,服务器需要对其进行认证。认证基于用户名、原始主机信息和密码。
三分恶
2021/04/15
5270
MySQL提升笔记(1):MySQL逻辑架构
MySQL 基础架构
MySQL 架构分为两部分,server层 与 存储引擎。其中 server 包含 连接器、查询缓存、分析器、优化器、执行器。存储引擎架构模式为插件式的,支持 InnoDB、MyISAM、Memory 等多个存储引擎,最常用的是 InnoDB。
星尘的一个朋友
2021/03/20
5620
京东面试:说说MySQL的架构体系
虽然他搞java开发好几年了,也一直使用的是MySQL数据库,但是面对这个问题依然是一脸懵逼,还以为面试官要问索引、慢查询、性能优化之类的(因为这些都是网上找点面试题背过了)。
田维常
2021/01/13
3800
京东面试:说说MySQL的架构体系
MySQL查询语句执行过程
众所周知在MySQL数据库应用中查询请求是使用最多的,假设我们输入代码段1 中的SQL,通过客户端请求MySQL服务器,会得到一个包含user的结果集。但是,其中MySQL的处理过程我们并不了解,那么下面就让我们一起看看在查询请求前后MySQL服务端发生了些什么吧。
Power
2025/03/01
3910
Mysql框架——Mysql系列(一)
各种语言都提供了连接mysql数据库的方法,比如jdbc、php、go等,可根据选择 的后端开发语言选择相应的方法或框架连接mysql
翰墨飘香
2023/06/11
6150
Mysql实战之一条SQL查询语句是如何执行的
作为一位开发人员,必然要和mysql打交道,平常肯定也写各种各样的sql语句,下面咱们先来看一个非常简单的sql语句
特特
2023/02/20
1.1K0
MySQL中一条更新的SQL如何执行
MySQL 之 -- 一条更新的 SQL 如何执行,一条更新的 SQL 语句如何执行执行流程一条 SQL 的执行流程如图所示:(图片来源于网络) 如图所示:MySQL 数据库主要分为两个层级:服务层和存储引擎层服务层:server 层包括连接器、查询缓存、分析器、优化器、执行器,包括大多数 MySQL 中的核心功能所有跨存储引擎的功能也在这一层实现,包括存储过程、触发器、视图等。 执行流程 一条 SQL 的执行流程如图所示:(图片来源于网络) 如图所示: MySQL 数据库主要分为两个层级:服务层和存
码农编程进阶笔记
2021/11/01
1.3K0
MySQL中一条更新的SQL如何执行
【SQL】Mysql中一条sql语句的执行过程
先来看下MySQL的体系结构,下图是在MySQL官方网站上扒下来的,所以有很高的权威性和准确性。
人不走空
2024/03/01
6160
【SQL】Mysql中一条sql语句的执行过程
MySQL实战 | MySQL逻辑架构—一条查询SQL是如何执行的
执行如下SQL,我们看到的只是输入一条语句,返回一个结果,却不知道这条语句在 MySQL 内部的执行过程。
共饮一杯无
2022/11/28
1.2K0
MySQL实战 | MySQL逻辑架构—一条查询SQL是如何执行的
Mysql-一条SQL查询的执行过程
作为CRUD工程师,了解Mysql中SQL查询的执行过程,对我们从查询优化,数据库配置,数据还原方面都有帮助。
一杯茶Ja
2024/10/01
1610
MySQL Select语句是怎么执行的?
最近在极客时间看丁奇大佬的《MySQL45讲》,真心觉得讲的不错,把其中获得的一些MySQL方向的经验整理整理分享给大家,有兴趣同学可以购买相关课程进行学习。
AsiaYe
2020/05/07
2.4K0
《MySQL》系列 - select 语句是怎么执行的?
mysql 作为一个关系型数据库,在国内使用应该是最广泛的。也许你司使用 Oracle、Pg 等等,但是大多数互联网公司,比如我司使用得最多的还是 Mysql,重要性不言而喻。
JavaFish
2021/03/23
2.3K0
相关推荐
MySQL(一)基本架构
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验