怎么样删除文件中的重复项

SHINE · 发表于 2013-11-9 20:07:02

请教各位大大，在一个文件（例如.TXT文件）中，有很多重复项，怎样快速删除多余的，只保留最后一次出现的那个？这个文件中总共有7000多行数据。
谢谢~~

nmgwddj · 发表于 2013-11-9 20:39:13

本帖最后由 nmgwddj 于 2013-11-9 20:46 编辑

读入到数组，用数组去重函数。

text.txt内容

去重代码


#include <File.au3>
#include <Array.au3>

Local $array[1]
Local $nCount = _FileCountLines(@ScriptDir & '\text.txt')

For $i = 1 To $nCount
        
        $sRead = FileReadLine(@ScriptDir & '\text.txt', $i)
        _ArrayAdd($array, $sRead)
        
Next
$arrayNew = _ArrayUnique($array)
_ArrayDisplay($arrayNew)

netsmu · 发表于 2013-11-9 22:15:21

善用搜索吧，论坛里就有很多这方面的例子了，搜索重复行

yanghust · 发表于 2013-12-3 22:24:27

你要是会用sql语言就很好高了

vuivui · 发表于 2013-12-5 09:07:40

用数组逐行对比最好理解
用正则一条命令就可以，最简单
对数据量大的话用字典对象较方便
用变量赋值函数Assign，道理同vb集合差不多

		自动登录	找回密码
密码			加入

[AU3基础] 怎么样删除文件中的重复项