2024-08-11

Go语言的goroutine是由Go运行时的调度器进行调度管理的。Go的调度器采用了协同式调度(G-P-M模型),其中G表示goroutine,P表示processor(处理器),M表示machine(线程)。

调度器的主要工作原理如下:

  1. 当一个M线程启动时,它会在自己的本地队列中寻找可运行的G。
  2. 如果本地队列为空或者本地队列长度不足,M线程会从全局运行队列中抢取G。
  3. 一旦M线程找到了G,它会将G绑定到自己并开始运行该goroutine。
  4. 当G执行了一段时间或者调用了runtime.Gosched()主动放弃CPU使用权时,M线程会将G放回到全局运行队列,然后再从队列中选择G执行。
  5. 如果全局队列为空,但是P列表中的处理器不足以满足需求,调度器会创建新的线程(M)来帮助处理。

下面是一个简单的例子,演示了如何创建goroutine:




package main
 
import (
    "fmt"
    "runtime"
)
 
func printNumbers() {
    for i := 1; i <= 3; i++ {
        fmt.Println(i)
    }
}
 
func main() {
    // 设置CPU核心数
    runtime.GOMAXPROCS(1)
 
    fmt.Println("Starting main go routine.")
 
    // 创建一个goroutine
    go printNumbers()
 
    // 模拟其他工作
    for i := 1; i <= 3; i++ {
        fmt.Println("Doing some work in main go routine.")
    }
 
    // 确保主goroutine不会提前退出
    var input string
    fmt.Scanln(&input)
}

在这个例子中,我们创建了一个goroutine来执行printNumbers函数,并通过runtime.GOMAXPROCS(1)设置了运行时的CPU核心数为1,以保证在单核心环境中能清晰地观察到调度的行为。

2024-08-11

以下是一个简化的代码实例,展示了如何使用Go语言创建一个简单的分布式网络爬虫:




package main
 
import (
    "fmt"
    "github.com/corpix/uarand"
    "github.com/temoto/robotstxt"
    "log"
    "net/http"
    "net/url"
    "sync"
)
 
var (
    wg sync.WaitGroup
)
 
func main() {
    // 初始化User-Agent列表
    uarand.Init("./ua.txt")
 
    // 设置robots.txt的处理器
    robots, err := robotstxt.NewRobotstxt("http://www.example.com/robots.txt")
    if err != nil {
        log.Fatal(err)
    }
 
    // 初始化一个任务队列
    queue := make(chan string)
 
    // 启动一个goroutine来生产URL
    go func() {
        for i := 0; i < 100; i++ {
            queue <- fmt.Sprintf("http://www.example.com/page-%d", i)
        }
        close(queue)
    }()
 
    // 启动多个goroutine来消费URL
    for i := 0; i < 10; i++ {
        wg.Add(1)
        go func() {
            defer wg.Done()
            for u := range queue {
                if !robots.TestAgent(uarand.Get(), u) {
                    continue
                }
                crawl(u)
            }
        }()
    }
 
    wg.Wait()
}
 
func crawl(u string) {
    req, err := http.NewRequest("GET", u, nil)
    if err != nil {
        log.Print(err)
        return
    }
 
    req.Header.Set("User-Agent", uarand.Get())
    resp, err := http.DefaultClient.Do(req)
    if err != nil {
        log.Print(err)
        return
    }
    defer resp.Body.Close()
 
    if resp.StatusCode == http.StatusOK {
        // 这里可以添加解析响应体的代码
        fmt.Printf("Crawled %s\n", u)
    } else {
        log.Printf("Received status code %d for %s\n", resp.StatusCode, u)
    }
}

这个简化的代码实例展示了如何使用Go语言创建一个简单的分布式网络爬虫。它初始化了一个用户代理列表,检查了robots.txt,并启动了一个goroutine来生产待爬取的URL。然后,它启动了多个goroutine来消费URL,并执行爬取操作。这个例子教会开发者如何在Go中实现并发网络爬虫的基本概念。

2024-08-11

在Go语言中,有一些编程知识点和注意事项,这里列举一些常见的概念和相关代码示例:

  1. 变量声明和初始化



var a int = 10      // 声明并初始化变量a
var b = 20          // 类型推导,初始化变量b
c := 30             // 简短变量声明,初始化变量c
  1. 指针



i := 10
p := &i // 获取变量i的内存地址,p是指向i的指针
fmt.Println(*p) // 使用*p来访问p指向的值,输出10
  1. 数组和切片



arr := [5]int{1, 2, 3, 4, 5} // 声明一个固定大小的数组
slice := []int{1, 2, 3, 4, 5} // 声明一个切片,底层是数组
  1. 函数



func add(a, b int) int { // 声明一个函数,接受两个int参数,返回一个int值
    return a + b
}
  1. 错误处理



_, err := os.Open("does_not_exist.txt")
if err != nil {
    fmt.Println(err)
}
  1. 并发



var wg sync.WaitGroup
wg.Add(2)
go func() {
    fmt.Println("Hello from the first goroutine")
    wg.Done()
}()
go func() {
    fmt.Println("Hello from the second goroutine")
    wg.Done()
}()
wg.Wait() // Wait for the goroutines to finish
  1. 结构体和方法



type Rectangle struct {
    width, height int
}
 
func (r Rectangle) Area() int {
    return r.width * r.height
}
 
rect := Rectangle{width: 10, height: 20}
fmt.Println(rect.Area()) // 输出结果200
  1. 接口



type Shape interface {
    Area() int
}
 
type Rectangle struct {
    width, height int
}
 
func (r Rectangle) Area() int {
    return r.width * r.height
}
 
func printArea(s Shape) {
    fmt.Println(s.Area())
}
 
rect := Rectangle{width: 10, height: 20}
printArea(rect) // 输出结果200

这些代码示例展示了Go语言中的一些基本概念和语法,同时也提醒开发者注意相关的编程实践和错误处理。

2024-08-11



package main
 
import (
    "fmt"
    "github.com/gin-gonic/gin"
)
 
func main() {
    router := gin.Default()
 
    // 处理GET请求
    router.GET("/get", func(c *gin.Context) {
        c.JSON(200, gin.H{
            "message": "Hello, World!",
        })
    })
 
    // 处理POST请求
    router.POST("/post", func(c *gin.Context) {
        var json struct {
            Name string `json:"name"`
        }
 
        // 绑定请求体中的JSON到结构体
        if err := c.ShouldBindJSON(&json); err != nil {
            c.JSON(400, gin.H{
                "error": err.Error(),
            })
            return
        }
 
        c.JSON(200, gin.H{
            "message": fmt.Sprintf("Hello, %s!", json.Name),
        })
    })
 
    // 启动服务器
    router.Run(":8080")
}

这段代码使用Gin框架创建了一个简单的Web服务器,它可以同时处理GET和POST请求。对于GET请求,它返回一个简单的JSON响应;对于POST请求,它尝试解析请求体中的JSON并返回一个个性化的JSON响应。这个例子展示了如何使用Gin来快速创建RESTful API。

2024-08-11

Context 在 Go 语言中主要用于控制 goroutine 的生命周期、传递请求的上下文信息等。

  1. 创建 Context

Go 语言标准库提供了 context 包,其中包含了创建 Context 的函数。

  • context.Background(): 创建一个空的 Context,通常作为处理树的根节点。
  • context.TODO(): 目前和 context.Background() 一样,但是未来可能会有不同的实现。
  • context.WithCancel(parent Context) (ctx Context, cancel CancelFunc): 创建一个新的 Context,它通过调用 cancel 函数来取消它和它的子 Context。
  • context.WithDeadline(parent Context, deadline time.Time) (Context, CancelFunc): 创建一个新的 Context,当指定的截止日期到达或者父 Context 被关闭时,它会自动取消。
  • context.WithTimeout(parent Context, timeout time.Duration) (Context, CancelFunc): 创建一个新的 Context,当指定的超时时间到达或者父 Context 被关闭时,它会自动取消。
  • context.WithValue(parent Context, key interface{}, val interface{}) Context: 创建一个新的 Context,它可以存储一些额外的数据。

例如:




ctx := context.Background()
ctx, cancel := context.WithTimeout(ctx, 10*time.Second)
defer cancel()
  1. 使用 Context

Context 可以用于控制 goroutine 的生命周期,并且可以传递信息。

例如,在 HTTP 服务中,可以将 Context 传递给处理请求的所有函数,以便在任何地方都可以访问请求的信息或者控制请求的生命周期。




func handler(w http.ResponseWriter, r *http.Request) {
    ctx := r.Context()
    // 使用 ctx 进行其他操作
}
  1. 取消 Context

当 Context 被取消时,它会通知所有等待此 Context 的 goroutine。取消 Context 的方法有:

  • 调用返回的 cancel 函数。
  • 当父 Context 被取消时,它的所有子 Context 也会被取消。
  • 当一个使用 Context 的操作在操作完成之前就返回了错误,表明操作已经不能继续进行。

例如:




ctx, cancel := context.WithTimeout(context.Background(), 10*time.Second)
defer cancel()
 
select {
case <-time.After(15 * time.Second):
    fmt.Println("timeout")
case <-ctx.Done():
    fmt.Println(ctx.Err())
}
  1. 存储额外数据

context.WithValue 可以用来在 Context 中存储一些额外的数据。

例如:




type key string
 
var UserID key = "userID"
 
ctx := context.WithValue(context.Background(), UserID, "user-123")
 
userID := ctx.Value(UserID).(string)
fmt.Println(userID) // 输出: user-123

以上就是 Go 语言中 Context 的基本使用方法。

2024-08-11

Go 语言(又称 Golang)和 Java 是两种非常流行的编程语言。以下是它们各自的一些优点和劣端:

Go 语言的优点:

  • 简洁的语法
  • 高效的编译器
  • 原生支持并发编程(goroutines 和 channels)
  • 轻松的内存管理
  • 编译成单一的可执行文件,易于部署
  • 标准库丰富,学习曲线较低

Go 语言的劣端:

  • 没有自动垃圾回收,内存管理更为复杂
  • 错误处理不够强制化,可能需要程序员手动处理
  • 标准库相对较小,社区支持不如 Java
  • 学习曲线较陡峭,对开发者要求较高

Java 语言的优点:

  • 广泛的社区支持和庞大的生态系统
  • 内存管理自动化,减少内存泄漏的风险
  • 强类型机制,在编译时发现错误,减少运行时错误
  • 面向对象的编程支持,易于模块化和代码复用
  • 跨平台编译,一次编写,到处运行

Java 语言的劣端:

  • 运行速度和编译成本不如 Go
  • 长期运行可能导致垃圾回收(GC)引起的暂停
  • 复杂的异常处理,对开发者要求较高
  • 代码编译后为字节码,运行时需要虚拟机解释执行,效率不如 Go 直接编译成机器码

综上所述,Go 和 Java 各有所长,取决于具体的应用场景和需求来选择最合适的编程语言。对于需要高并发和性能的项目,Go 可能是更好的选择;而对于需要稳定性和长期支持的企业级应用,Java 可能是更安全的选择。

2024-08-11



package main
 
import (
    "fmt"
    "github.com/petergtz/pato/retry"
    "time"
)
 
func main() {
    // 定义重试策略
    retryPolicy := retry.NewPolicy().
        WithMaxRetries(3).
        WithBackoff(retry.BackoffLinear, time.Second, time.Second, 2*time.Second)
 
    // 使用retry.DoWithRetry函数执行带有重试逻辑的任务
    err := retry.DoWithRetry(retryPolicy, func() error {
        fmt.Println("正在尝试执行任务...")
        // 这里可以放置需要重试的代码
        return fmt.Errorf("模拟失败") // 返回错误以触发重试
    })
 
    if err != nil {
        fmt.Printf("任务执行失败: %v\n", err)
    } else {
        fmt.Println("任务执行成功")
    }
}

这段代码使用了retry-go库来执行一个可能失败的任务,并且在任务失败后会按照指定的策略进行重试。通过定义重试策略,我们可以控制最大重试次数和重试间的延迟增加。代码中使用了线性的延迟策略,即每次重试的延迟都会增加指定的固定时间。如果任务在指定的次数内成功完成,则打印成功信息;如果任务仍然失败,则打印失败信息。这个例子展示了如何使用retry-go库来增强你的Go程序的容错性和重试逻辑。

2024-08-11



package main
 
import (
    "fmt"
    "sync"
    "sync/atomic"
    "time"
 
    "github.com/panjjo/ants/v1"
)
 
var sum int32
 
func myFunc(i interface{}) {
    n := i.(int32)
    atomic.AddInt32(&sum, n)
    time.Sleep(10 * time.Millisecond)
}
 
func demoPool() {
    // 创建一个具有指定大小的协程池
    p, _ := ants.NewPool(10)
 
    // 初始化一个等待组,用于等待所有协程任务完成
    var wg sync.WaitGroup
    for i := 0; i < 10; i++ {
        wg.Add(1)
        // 将任务提交给协程池执行
        _ = p.Submit(func() {
            myFunc(int32(10))
            wg.Done()
        })
    }
    // 等待所有任务完成
    wg.Wait()
    fmt.Printf("running goroutines: %d\n", p.Running())
    fmt.Printf("ants pool size: %d\n", cap(p.FreePool()))
    fmt.Printf("sum: %d\n", sum)
 
    // 清理资源
    p.Release()
}
 
func main() {
    demoPool()
}

这段代码演示了如何使用ants库创建一个具有特定大小的协程池,并向其提交任务。任务函数myFunc执行一个简单的计算,并在一个原子操作中增加全局变量sum的值。使用sync.WaitGroup等待所有任务完成,并在最后释放池资源。这是一个典型的使用ants协程池的场景。

2024-08-11

要使用go tool pprof进行性能分析,你需要先在你的Go程序中启用pprof。以下是一个简单的例子,展示如何在程序中启用pprof:




package main
 
import (
    "net/http"
    "os"
    "runtime/pprof"
)
 
func main() {
    // 启动HTTP服务器以便pprof可以从中获取profile信息
    go func() {
        http.ListenAndServe(":8080", nil)
    }()
 
    // 创建cpu profile文件
    f, err := os.Create("cpu.prof")
    if err != nil {
        panic(err)
    }
    pprof.StartCPUProfile(f)
    defer pprof.StopCPUProfile()
 
    // 你的程序逻辑
    for i := 0; i < 10; i++ {
        doWork()
    }
}
 
func doWork() {
    // 这里是你的函数,它会被pprof分析
}

在上面的代码中,我们启动了一个HTTP服务器,pprof会通过这个服务器收集性能数据。pprof.StartCPUProfilepprof.StopCPUProfile用于开始和停止CPU性能分析。你可以通过运行以下命令来查看分析报告:




go tool pprof http://localhost:8080/debug/pprof/profile

这将启动pprof交互式界面,你可以使用各种命令来查看性能分析数据,例如:




(pprof) top
(pprof) list doWork

记得在实际的生产环境中,你可能需要根据实际情况来调整pprof的启动方式,例如通过命令行参数或者环境变量来控制分析的开始和结束。

2024-08-11

在不改变原有功能的基础上,重构一个网站并记录部署步骤是一个合理的需求。以下是一个简要的解决方案和示例代码:




# 克隆旧的前端代码仓库
git clone https://github.com/your-old-frontend-repo.git
 
# 进入前端代码目录
cd your-old-frontend-repo
 
# 安装依赖
npm install
 
# 构建前端代码
npm run build
 
# 克隆旧的后端代码仓库
git clone https://github.com/your-old-backend-repo.git
 
# 进入后端代码目录
cd your-old-backend-repo
 
# 设置Go环境(如果需要)
export GO111MODULE=on
export GOPROXY=https://goproxy.io,direct
 
# 构建后端代码
go build
 
# 部署前端资源
cp -r your-old-frontend-repo/build/* /path/to/your/server/public/
 
# 部署后端二进制文件
cp your-old-backend-repo/myapp /path/to/your/server/bin/
 
# 在服务器上配置systemd服务
echo '[Unit]
Description=My Go Web App
 
[Service]
ExecStart=/path/to/your/server/bin/myapp
 
[Install]
WantedBy=multi-user.target' > /etc/systemd/system/myapp.service
 
# 重新加载systemd配置并启动服务
systemctl daemon-reload
systemctl enable myapp.service
systemctl start myapp.service

以上步骤假设你已经有了旧的前端和后端代码仓库,并且新的后端是用Go语言编写的。在实际部署时,你需要根据你的服务器配置和环境来调整文件路径和服务配置。