github 程式碼commit機器人
靈感
曾經有一次在GitHub上看到使用golang自動儲存trending的歷史記錄到markdown檔案的專案,感覺這個專案做的很新穎而精緻.進而做一個在GitHub上自動記錄每日hacknews新聞和貓眼電影.
知識儲備
- ofollow,noindex" target="_blank">html css selector 或者xpath 的語法,提出html的有用資訊(自己做爬蟲也會使用到)
- redis List/SET/HASH等資料結構
- 熟悉git的基本命令
- 熟悉ssh key和配置GitHub ssh key 登陸
- GO語言: exec,go-redis,goquery,template,http等包
- go stmp包傳送伺服器資訊和每日hacknews到自己的郵箱
思路
- 使用http包下載html文件
- goquery提取html中用的資訊
- 使用第三方翻譯介面翻譯有用資訊
- 儲存提取的資訊到redis中並去重,設定自動失效時間
- 獲取去重之後的資訊使用go template來渲染markdown格式的文件
- go exec 呼叫git命令提交生產之後的markdown檔案到github 同時更新readme.md檔案
- 傳送每日hacknews和伺服器的狀態到自己的郵箱
main.go程式碼註釋解析
package main import ( "github.com/dejavuzhou/md-genie/util" "log" "time" ) var gitCount = 1 func createCmds() []util.Cmd { //使用兩個賬號輪流交替提交程式碼到GitHub //可恥的私心:我要讓這兩個GitHub賬號在contributions in the last year 顯示面板都是綠色(代表活躍) gitCount++ gifConfig1 := []util.Cmd{ {"git", []string{"config", "--global", "user.email", "'[email protected]'"}}, } gifConfig2 := []util.Cmd{ {"git", []string{"config", "--global", "user.email", "'[email protected]'"}}, } //執行一系列git命令 和 linux伺服器的命令 來定時監控伺服器的健康狀態 cmds := []util.Cmd{ {"git", []string{"config", "--global", "user.name", "'EricZhou'"}}, {"git", []string{"stash"}}, {"git", []string{"pull", "origin", "master"}}, {"git", []string{"stash", "apply"}}, {"git", []string{"add", "."}}, {"git", []string{"status"}}, {"git", []string{"commit", "-am", time.Now().Format(time.RFC3339)}}, {"git", []string{"status"}}, {"git", []string{"push", "origin", "master"}}, {"netstat", []string{"-lntp"}}, {"free", []string{"-m"}}, {"ps", []string{"aux"}}, } if gitCount%2 == 0 { cmds = append(gifConfig2, cmds...) } else { cmds = append(gifConfig1, cmds...) } return cmds } func main() { //比較懶 使用最原始sleep的方法來實現定時任務 for { //提出hacknews html中的新聞游泳資訊呼叫有道翻譯來 儲存資訊到redis //如果有條件建議使用google翻譯API if err := util.SpiderHackNews(); err != nil { log.Fatal(err) } //解析hacknews新聞到markdown檔案,按照時間天格式命名 if err := util.ParseMarkdownHacknews(); err != nil { log.Fatal(err) } //獲取貓眼電影json介面,儲存到redis if err := util.FetchMaoyanApi(); err != nil { log.Fatal(err) } //解析電影資訊到markdown檔案 if err := util.ParseMaoyanMarkdown(); err != nil { log.Fatal(err) } //讀取archieves 資料夾名稱 生成readme.md檔案 util.ParseReadmeMarkdown() //執行git linux 命令 儲存日誌 slice gitlogs, err := util.RunCmds(createCmds()) if err != nil { log.Fatal(err) } //解析日誌和hacknews新聞 生產email的html正文 //傳送郵件 if err, mailBody := util.ParseEmailContent(gitlogs); err == nil { mailTitle := "md-genie+hacknews日誌:" + time.Now().Format(time.RFC3339) util.SendMsgToEmail(mailTitle, mailBody) } else { log.Fatal(err) } //每天執行4次 我的兩個GitHub賬號就可以每天活躍數量為兩次 time.Sleep(6 * time.Hour) } }
dejavzuhou/util包解析
api.go command.go ding.go hacknews.go mail.go markdown.go redditnews.go scanfiles.go translate.go