golang 如何识别文本格式(golang读取txt文件一次读取一行)

这篇文章主要介绍”戈朗怎么读取单行超长的文本”,在日常操作中，相信很多人在Golang怎么读取单行超长的文本问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”戈朗怎么读取单行超长的文本”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！

1.问题复现

首先注释主要的函数里面的内容，执行CreateBigText函数，它会创建一个含有3行内容的文件，第一行是一个长度超过100KB的行。然后解决主要的函数的注释，尝试执行代码，会发现只有一行错误信息：

packagemain

导入（

布菲奥

字节数

日志

操作系统

‘ strconv ‘

)

func main(){ 0

文件，err:=os .打开(‘。/read/test.txt ‘)

伊弗。=零

日志。致命的

}

ReadBigText(文件)

}

funcReadBigText(文件*os .文件){ 0

延期文件。关闭()

scanner:=bufio .新闻扫描器（文件)

佛斯坎纳。扫描(){ 0

println(扫描仪文本())

}

//输出错误

println(扫描仪Err().错误())

}

funcreateBigtext(){ 0

文件，err:=os .创建(‘。/read/test.txt ‘)

伊弗。=零

日志。致命的

}

延期文件。关闭()

数据：=make([]字节，0,32*1024)

buffer:=字节。纽博弗（数据)

//构造一个大的单行数据

对于I :=0；i50000我

缓冲区WriteString(strconv .Itoa(i))

}

//写入一个换行符

缓冲区。写字节(‘ \n ‘)

缓冲区.写字符串(‘ Iloveyou昨天和今天！\ n’)

缓冲区. WriteString(“)有一美人兮，见之不忘\ \ n’)

//将3行写入文件

文件。写（缓冲区。字节())

日志Println(‘创建文件成功)

}

2.问题探究

让我们来探究一下这个问题的原因，首先看一下扫描()方法的注释，这个方法就是每次扫描到下一个令牌，然后就可以通过获取字节或者文本的方法来获取扫描过的令牌。如果它返回值是假的，就会返回扫描期间遇到的错误，除了io。文件结束

扫描将扫描器前进到下一个令牌，然后通过字节或文本方法可以使用该令牌。当扫描停止时，它返回假的，要么到达输入的末尾，要么出现错误。在扫描返回错误的后呃，方法将返回扫描过程中发生的任何错误，除非是超正析象管错误电渗流，误差将返回零。如果使分离函数返回太多空标记而不推进输入，扫描就会死机。这是扫描仪常见的错误模式。

rong>所以Scan()和Text()函数是这样结合起来使用的，首先Scan()会扫描出一个token，然后Text()将其转成文本（或者其它方法转成字节），循环执行这种操作就可以按行读取一个文件。

通过阅读Scan()函数的源码，我们可以发现这样一个判断，如果buf的长度大于了最大token长度，那就会报错，见下图。

继续查找，可以看到最大长度已经定义好了，它的长度是 64*1024 byte，即64KB，所以一行文本超过了这个最大长度，那么就会报错！

3.问题解决

其实大部分情况下我们都应该使用Scan()函数结合Text()或者Bytes()函数来读取文件的，这个也是官方推荐的，因为它们是 high-level 方法，用起来很方便。但是如果我们有一些极端的情况，例如单行超过64KB，那么怎么办呢？（这种情况是很少的，但是又有可能会遇到这种需求的，例如文件里面存储了一串Base64编码）

这里可以这样来使用，这个方法不会受到64KB的限制，ReaderString方法会按照指定的定界符来读取一个完整的行，返回值是字符串和读取遇到的错误。如果想要读取返回值为字节的话，可以使用 ReadBytes 方法。

func ReadBigText(file *os.File) {
	defer file.Close()
	reader := bufio.NewReader(file)
	for {
		line, err := reader.ReadString('\n')
		if err != nil {
			log.Fatal(err)
		}
		fmt.Printf("%d %s", len(line), line)
	}
}

通过阅读源码可知，其实这个方法也是会遇到行太长的问题，只不过它忽略了这种情况。

ErrBufferFull就是这个缓冲区溢出错误。

我们继续进入内容其实也可以知道，它默认的缓冲区大小是4KB。

4.扩展

上面都说相对高层的方法，我们来看一下相对底层的方法。

ReadLine is a low-level line-reading primitive. Most callers should use ReadBytes('\n') or ReadString('\n') instead or use a Scanner.

ReadLine是读取一行，但是它是一个 low-level 方法，它会返回三个值：[]byte、isPrefix bool和err error。
其中最令人好奇的是第二个参数，它如果是true，则表示当前行没有读取完毕，但是缓冲区满了，可以看下面这段注释。

If the line was too long for the buffer then isPrefix is set and the beginning of the line is returned. The rest of the line will be returned from future calls.

func ReadBigText(file *os.File) {
	defer file.Close()
	reader := bufio.NewReader(file)

	for {
		bline, isPrefix, err := reader.ReadLine()
		if err == io.EOF {
			break // 读取到文件结束才退出
		}
		// 读取到超长行，即单行超过4k字节，直接写入文件，不对此行做处理
		if isPrefix {
			fmt.Print(string(bline))
			continue
		}

		fmt.Println(string(bline))
	}
}

不过需要注意这个方法读取出来的数据是不包括换行符的，所以我是用的println打印输出的。

如果你也去看了 ReadString、ReadBytes 和 ReadLine 方法，会发现两种都依赖于一个底层的方法——ReadSlice方法。这个方法很原始，一般不会直接使用它。如果它遇到了超长行，它就会直接返回读取到的字节和一个ErrBufferFull，那这样我们就可以根据这个错误来继续读取数据了。这种方式还是相对麻烦了一些，不过如果你可以理解的话，对于上面的方法也就不是问题了。学习嘛，还是有必要一探究竟的。不过阅读源码感觉有些还是理解起来很困难，特别是这些英语注释，不过也能看一个七七八八了。还不行的话，那就再借助一些翻译软件，不过我个人觉得提高自己的英语能力还是非常必要的。

func ReadBigText(file *os.File) {
	defer file.Close()
	reader := bufio.NewReader(file)
	for {
		byt, err := reader.ReadSlice('\n')
		if err != nil {
			if err == bufio.ErrBufferFull {
				fmt.Print(string(byt))
				continue
			}
			log.Fatal(err)
		}
		fmt.Print(string(byt))
	}
}

到此，关于“Golang怎么读取单行超长的文本”的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注网站，小编会继续努力为大家带来更多实用的文章！