最近用到了 go 从 excel 导数据到服务器内部 用的是 http 请求
但是发现一个问题 从文件读取之后 新开 goroutine 会无限制新增
导致全部卡在初始化请求 于是乎就卡死了
func main() { pool := sync.waitgroup{} for i := 0; i < 500; i++ { pool.add(1) go func(i int) { resp, err := http.get("http://ip.3322.org") if err != nil { fmt.println(i, err) } else { defer resp.body.close() result, _ := ioutil.readall(resp.body) fmt.println(i, string(result)) } pool.done() }(i) } pool.wait() }
package gopool import ( "sync" ) // pool goroutine pool type pool struct { queue chan int wg *sync.waitgroup } // new 新建一个协程池 func new(size int) *pool { if size <= 0 { size = 1 } return &pool{ queue: make(chan int, size), wg: &sync.waitgroup{}, } } // add 新增一个执行 func (p *pool) add(delta int) { // delta为正数就添加 for i := 0; i < delta; i++ { p.queue <- 1 } // delta为负数就减少 for i := 0; i > delta; i-- { <-p.queue } p.wg.add(delta) } // done 执行完成减一 func (p *pool) done() { <-p.queue p.wg.done() } // wait 等待goroutine执行完毕 func (p *pool) wait() { p.wg.wait() }
package main import ( "io/ioutil" "log" "net/http" "yumc.pw/cloud/lib/gopool" ) func main() { // 这里限制5个并发 pool := gopool.new(5)// sync.waitgroup{} for i := 0; i < 500; i++ { pool.add(1) go func(i int) { resp, err := http.get("http://ip.3322.org") if err != nil { fmt.println(i, err) } else { defer resp.body.close() result, _ := ioutil.readall(resp.body) fmt.println(i, string(result)) } pool.done() }(i) } pool.wait() }
如对本文有疑问, 点击进行留言回复!!
网友评论