golang学习之抓取网页库goquery

学习目的 go做服务器抓取非常方便,今天我们只学习抓取网页和处理网页,后面会学习如何定时执行,包括embed嵌入模板最终打包成一个单文件. goquery学习 库地址 “github.com/PuerkitoBio/goquery” 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 res, err := http.Get("http://www.yoby123.cn") if err != nil { log.Fatal(err) } defer res.Body.Close() if res.StatusCode != 200 { log.Fatalf("status code error: %d %s", res.StatusCode, res.Status) } doc, _ := goquery.NewDocumentFromReader(res.Body) //两种一样 /* body, _ := io.ReadAll(res.Body)……

阅读全文

golang学习之判断字符串编码是否是UTF8或GBK

应用需求 在开发网页抓取的时候,有可能你抓取得不是utf8,那么就要去判断抓取的是不是utf8编码,如果不是再去判断是否gbk,其他gb2312等也都用gbk看待.网上有写的很复杂的判断,没有必要去看,就这个简单 go判断字符串是否utf8 这个问题其实自带的库里面就有,包括了[]byte和s……

阅读全文

golang学习之转换html table表格为切片slice函数TableArr

写这个函数作用 go开发离不开正则表达式,和字符串处理,要想解决table转换成切片,需要解决如何删除html标记,这里使用正则表达式,先去掉一些复杂标记,然后通过替换,减少标记. 转换函数定义 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 func TableArr(s string)[][]string{ re := regexp.MustCompile("<table[^>]*?>") s=re.ReplaceAllString(s, "") re = regexp.MustCompile("<tbody[^>]*?>")……

阅读全文

gin+vue+elementUI进行极速开发的全栈后台管理系统

文档 Github地址 git clone https://github.com/flipped-aurora/gin-vue-admin.git 中文文档 https://www.gin-vue-admin.com/docs/ 前端打包 编译web端 cnpm install 测试用cnpm run serve 打包使用cnpm run build server文件夹下config.yaml配置里面mysql数据表,然后执行initdb linux下操作初始化 go env -w GO111MODULE=on go env -w GOPROXY=https://goproxy.io,direct make gva # 在server项目下,先构建gva终端工具 make initdb # 使用gva……

阅读全文

git工具使用技巧

安装windows for git 网上有绿色版,直接放到目录然后添加到环境变量. 比如 C:\app\git\bin添加到path 安装TortoiseGit和中文语言包 PuTTY生成ssh key 主要生成过程移动鼠标更快 把生成的私密保存成ppk类型文件,复制sshkey绑定到github.com/gitee.……

阅读全文

Wsl2下linux子系统以及Docker安装

安装wsl2 在程序管理勾选虚拟机平台和windows子系统,需要win10>1809,最好是2004版本 启用虚拟机 dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart 下载wsl2 https://docs.microsoft.com/zh-cn/windows/wsl/wsl2-kernel 设置所有子系统使用WSL2:wsl --set-default-version 2出现有关与 WSL 2 的主要区别的信息,请访问 https://aka.ms/wsl2 成功. 到app商城安装Linux 下载相应Linux系统,在sto……

阅读全文

Go编写的文档管理系统Mindoc,类似看云

简介 MinDoc 是一款针对IT团队开发的简单好用的文档管理系统,创建电子书非常适合api,通过工具还可以生成Pdf,mobi等格式。 win安装 下载 https://github.com/lifei6671/mindoc/releases 使用的是 sqlite 数据库,请将 conf/app.conf 中的数据库配置成如下,系统会自动创建 sqlite 数据库文件: db_adapter=sqlite3 db_database=mindoc_db 初始化数据库mindoc_windows_amd64.exe install 程序会自动……

阅读全文

golang开发GUI程序框架Govcl

安装简介 这是一个通过设计器就能设计出UI的框架,基本上不需要写UI代码,全部都靠软件拖拉,非常好用,缺点就是GUI不能个性化,通过这个工具开发的桌面程序还是比较小的,默认下8M左右hello演示. 开源项目 https://github.com/ying32/govcl 配置 set GO111MODULE=on set GOPROXY=https://mirrors.aliyun.com/goproxy/ go get -u github.com/ying32/govcl 参考文档 设计 参考文档 https://z-kit.cc/doc.html 实用工具 Lazarus 2.0.10 下载 链接: https://pan.baidu.com/s/1qMPDviok6g9koivLYKn4cQ 提取码: 61gn res2go Lazarus I……

阅读全文

go开发的环境搭建和学习计划

安装环境 下载安装 https://studygolang.com/dl 阿里云代理 https://mirrors.aliyun.com/goproxy/ 查看版本 go version 查看配置 go env set GOPROXY=https://goproxy.cn,direct set GO111MODULE=on set GOROOT=C:\app\go 设置到 C:\www\go\bin到path GOROOT环境变量C:\app\go GOPATH环境变量C:\www\go,在下面建立bin,pkg,src目录三个 cmd中 运行 go run hello.go 编译go go build hello.go成exe文件 查看……

阅读全文

PHP7学习中的那些坑

php使用注意 不要使用 mysql_ 类函数 终于,你不用再看到建议不要使用 mysql_ 函数的提示了。因为 PHP 7 从核心上完全移除了它们,这意味着请你移步至更好的 mysqli_ 类函数,或者更灵活的 PDO 层。 不要写无用的代码 这看上去是个无脑建议,但是随着 PHP7 速度的提升掩盖了一些问题使它显得日趋重要。不要仅仅因切到 PHP7 让网站速度变得快点,你……

阅读全文

© 2021 小白的分享 By Yoby | 陕ICP备15015437-1 | 本站访客数人次| 本站总访问量