写了一堆爬虫丢服务器上跑,很显然隔一段时间这个爬虫就会废掉。IP 被封是理所当然的。
所以决定放到本地。第一时间 想到的是crontab
, 按照Linux 配置一通,发现任务无法执行。
不用想, 定时器不会被执行的,crontab 已经被 Mac OS废弃了,替代品就是 launchd
用来存放 定时器任务配置文件的 有5个目录 ,官方
当然是 不登陆也要运行的,一开机,不输入密码也要搞起来。
cd /Library/LaunchDaemons
在对应的目录创建配置文件
vi com.vix.cron.plist
内容如下:
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd">
<plist version="1.0">
<dict>
<key>Label</key>
<string>com.vix.cron</string>
<key>ProgramArguments</key>
<array>
<string>/Users/chuchur/crontab-test.sh</string>
</array>
<key>Nice</key>
<integer>1</integer>
<key>StartInterval</key>
<integer>60</integer>
<key>RunAtLoad</key>
<true />
<key>StandardErrorPath</key>
<string>/tmp/test.err</string>
<key>StandardOutPath</key>
<string>/tmp/test.out</string>
</dict>
</plist>
大概意思就是没60秒执行一次 /Users/chuchur/crontab-test.sh
使用 launchctl
加载配置文件
launchctl load com.vix.cron.plist
# or
# launchctl load /xxx/xxx/com.alvin.crontabtest.plist
不需要定时器了可以卸载
launchctl unload /xxx/xxx/com.alvin.crontabtest.plist
查看有多少作业在执行
sudo launchctl list | grep 'cron'
但是看这个只是简单的任务逻辑,复杂的怎么办,时分秒日月周 几个小时,几天执行一次。当然他除了StartInterval
还有StartCalendarInterval
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd">
<plist version="1.0">
<dict>
<key>Label</key>
<string>com.vix.cron</string>
<key>ProgramArguments</key>
<array>
<string>/Users/chuchur/crontab-test.sh</string>
</array>
<key>StartCalendarInterval</key>
<dict>
<key>Day</key>
<integer>11</integer>
<key>Hour</key>
<integer>0</integer>
<key>Minute</key>
<integer>0</integer>
<key>Month</key>
<integer>7</integer>
<key>Weekday</key>
<integer>0</integer>
</dict>
</dict>
</plist>
Mac 只是说废弃了crontab,又没说不再支持了,我就是要用crontab 怎么办?
折腾如下:
借鉴下 Linux 定时任务 配置方法
1)确保crontab 在mac上是运行的
# 定时任务统统由 launchctl 来管理的,看看 cron 任务有没有在里面
sudo launchctl list | grep cron
# 有记录。查看一下启动项的配置
locate com.vix.cron
# 创建一个database
sudo launchctl load -w /System/Library/LaunchDaemons/com.apple.locate.plist
# 查看 /etc/crontab 是否存在
ls -alF /etc/crontab
# 创建该文件(如果不存在)
sudo touch /etc/crontab
2)验证crontab是否可以执行
编写定时任务脚本
contrab -e
写入定时任务
0 */1 * * * spider todo
每隔一个小时运行一次。查看任务:
contrab -l
在mac里 ,crontab 配置文件在这个目录 /usr/lib/cron/tabs/
cat /usr/lib/cron/tabs/[user name]
看到的是和 contrab -l
看到的一样,可见配置没有问题的。
3)mac开启crontab的权限
收工。
脚本无法运行的可以尝试以下:
1)修改 crontab -e ,如 :
* * * * * whoami >> /Users/[your name]/test.txt
改成
* * * * * /usr/bin/whoami >> /Users/[your name]/test.txt
也就是命令要写全路径。
2)修改脚本 头部第二行加上如下代码:
#!/usr/bin/env bash
source /etc/profile #加上这一行