发布日期:2022-06-18 17:08 点击次数:105
专家好,我是 polarisxu。
并发是 Go 的上风,但并发也需要很好的进行罢休。轨范库中有 sync 包,常常使用的功能有 sync.Mutex、sync.WaitGroup 等。其实,除了轨范库,还有一个官方的彭胀库,也叫 sync,其中有一个子包:sync/singleflight,成心做并发罢休,比如防患缓存击穿。
01 从例子提及看一个模拟缓存的例子,有如下代码:
package main import ( "errors" "flag" "log" "sync" ) var errorNotExist = errors.New("not exist") var n int func init() { flag.IntVar(&n, "n", 5, "模拟的并发数,默许 5") } func main() { flag.Parse() var wg sync.WaitGroup wg.Add(n) // 模拟并发拜访 for i := 0; i < n; i++ { go func() { defer wg.Done() // 假定都获得 id = 1 这篇著述 article := fetchArticle(1) log.Println(article) }() } wg.Wait() } type Article struct { ID int Content string } func fetchArticle(id int) *Article { article := findArticleFromCache(id) if article != nil && article.ID > 0 { return article } return findArticleFromDB(id) } var ( cache = make(map[int]*Article) rwmutex sync.RWMutex ) // 模拟从缓存获得数据 func findArticleFromCache(id int) *Article { rwmutex.RLock() defer rwmutex.RUnlock() return cache[id] } // 模拟从数据库中获得数据 func findArticleFromDB(id int) *Article { log.Printf("SELECT * FROM article WHERE id=%d", id) article := &Article{ID: id, Content: "polarisxu"} rwmutex.Lock() defer rwmutex.Unlock() cache[id] = article return article }
咱们模拟 5 个用户并发拜访,同期获得 ID=1 的著述,因为缓存中不存在,因此都到后端 DB 获得具体数据。从运转效力不错看出这小数:
$ go run main.go 2021/12/30 10:32:36 SELECT * FROM article WHERE id=1 2021/12/30 10:32:36 SELECT * FROM article WHERE id=1 2021/12/30 10:32:36 &{1 polarisxu} 2021/12/30 10:32:36 &{1 polarisxu} 2021/12/30 10:32:36 SELECT * FROM article WHERE id=1 2021/12/30 10:32:36 &{1 polarisxu} 2021/12/30 10:32:36 SELECT * FROM article WHERE id=1 2021/12/30 10:32:36 &{1 polarisxu} 2021/12/30 10:32:36 SELECT * FROM article WHERE id=1 2021/12/30 10:32:36 &{1 polarisxu}
昭着这是咱们不但愿看到的。
02 使用 singleflight官方的彭胀包 golang.org/x/sync 底下有一个子包 singleflight:
Package singleflight provides a duplicate function call suppression mechanism.
它用来防止函数的访佛调用,这碰劲相宜上头的场景:但愿从数据库获得数据的函数只调用一次。
将 fetchArticle 函数改成这么:
var g singleflight.Group func fetchArticle(id int) *Article { article := findArticleFromCache(id) if article != nil && article.ID > 0 { return article } v, err, shared := g.Do(strconv.Itoa(id), func() (interface{}, error) { return findArticleFromDB(id), nil }) // 打印 shared,望望都什么值 fmt.Println("shared===", shared) if err != nil { log.Println("singleflight do error:", err) return nil } return v.(*Article) }
singleflight.Group 是一个结构体类型,莫得导出任何字段,它代表一类职责并变成一个定名空间, 在线亚洲人成电影网站色www在该定名空间中不错防止职责单位的访佛实行。
该类型有三个方法,它们的功能见注目:
// 实行并复返给定函数的效力,确保关于给定的键,fn 函数只会实行一次。 // 若是有访佛的进来,访佛的调用者会恭候最原始的调用完成并收到相易的效力。 // 复返值 shared 联络是否将 v 提供给多个调用者。 // 复返值 v 是 fn 的实行效力 // 复返值 err 是 fn 复返的 err func (g *Group) Do(key string, fn func() (interface{}, error)) (v interface{}, err error, shared bool) // 和 Do 类似,但复返一个 channel(只可接管),用来接管效力。Result 是一个结构体,有三个字段,即 Do 复返的那三个。 func (g *Group) DoChan(key string, fn func() (interface{}, error)) <-chan Result func (g *Group) Forget(key string)
因此,改后的代码,av漫画通过 Group.Do,即使并发屡次调用,findArticleFromDB 也只会实行一次,况兼这一次的效力会被并发屡次实行分享。
运转后,效力如下:
$ go run main.go 2021/12/30 11:55:44 SELECT * FROM article WHERE id=1 shared=== true 2021/12/30 11:55:44 &{1 polarisxu} shared=== true 2021/12/30 11:55:44 &{1 polarisxu} shared=== true 2021/12/30 11:55:44 &{1 polarisxu} shared=== true 2021/12/30 11:55:44 &{1 polarisxu} shared=== true 2021/12/30 11:55:44 &{1 polarisxu}
和预期相通,findArticleFromDB 只实行了一次,shared 的值也暗示效力被多个调用者分享。
是以,使用 Go 后,再也不需要通过类似 Redis 中的 SETNX 这么的高唱来竣事类似的功能了。
03 Forget 的用途上头 Group 的方法中,有一个莫得给任何注目,即 Forget。从名字猜到,用来忘掉什么,那具体什么深嗜呢?
通过上头的例子,咱们理解,通过 Do,不错竣事多个并发调用只实行回调函数一次,并分享相易的效力。而 Forget 的作用是:
Forget tells the singleflight to forget about a key. Future calls to Do for this key will call the function rather than waiting for an earlier call to complete.
即告诉 singleflight 健忘一个 key,翌日对此 key 的 Do 调用将调用 fn 回调函数,而不是恭候更早的调用完成,即相配于毁灭 Do 正本的作用。
不错在上头例子中 Do 调用之前,调用 g.Forget,考据是否 Do 的调用都实行 fn 函数即 findArticleFromDB 函数了。
04 泛型版块注意见读者可能会发现,Do 方法复返的 v 是 interface{},在 fetchArticle 函数临了,咱们做了类型断言:v.(*Article)。
既然 Go1.18 立时要来了,有了泛型,不错有泛型版块的 singleflight,不需要做类型断言了。GitHub 依然有人竣事并开源:https://github.com/marwan-at-work/singleflight。
改成这个泛型版块,要改以下几处:
导入包 marwan.io/singleflight,而非 github.com/marwan-at-work/singleflight,同期移除 golang.org/x/sync/singleflight g 的声明改为:var g singleflight.Group[*Article] Do 的调用,复返值由 interface{} 类型改为:*Article:article, err, shared := g.Do(strconv.Itoa(id), func() (*Article, error) { return findArticleFromDB(id), nil })临了复返时,胜利复返 article,不需要做类型断言 05 归来
singleflight 很常用,你在 pkg.go.dev 搜索 singleflight,发现存许多轮子:https://pkg.go.dev/search?q=singleflight,好些阵势不是使用官方的 golang.org/x/sync/singleflight,而是我方竣事一个,不外这些竣事基本只竣事了最常用的 Do 方法。感深嗜的不错检讨他们的竣事。
下次阵势中需要类似功能,铭刻使用 singleflight 哦!
上一篇:没有了
下一篇:一日一技:带落伍手艺的缓存、全文搜索、频率限度若何做?