未加星标

简单快捷的数据处理,数据科学需要注意的命令行

字体大小 | |
[大数据技术 所属分类 大数据技术 | 发布者 店小二04 | 时间 | 作者 红领巾 ] 0人收藏点击收藏

对很多数据科学家而言,他们的数据操作经常需要使用 Pandas 或者 Tidyverse。理论上,这个说法没有任何错误,毕竟这就是这些工具存在的原因。然而,对于分隔符转换这样的简单任务而言,这些工具往往是大材小用,我们可以直接使用命令行快速处理。

命令行应该是每个开发者都希望掌握的,尤其是数据科学家。熟悉终端的来龙去脉可以毫无疑问地可以让我们变得更加有效率,因此命令行还是计算机技术中的一个很棒的历史课。例如,awk 这个数据驱动的脚本语言是 1977 年在 Brina Kernighan 的帮助下首次出现的,Brina Kernighan 就是 K&R 这本书中的 K。在 50 年后的今天,每年仍然能够出现与 awk 相关的新书。因此,我们可以相对保守地假设:一项针对命令行才能的投资在任何新近的时间内都不会贬值。

简单快捷的数据处理,数据科学需要注意的命令行

我们将会涉及以下内容

ICONV
HEAD
TR
WC
SPLIT
SORT & UNIQ
CUT
PASTE
JOIN
GREP
SED
AWK

ICONV(用来转换文件的编码方式)

文件编码可能是比较棘手的。现在的多数文件都是 UTF-8 编码,然而有时候我们拿到的文件并不是这个格式的。这可能导致交换编码格式时的一些不靠谱的尝试。这里,iconv 是一个拯救者,它能以一种编码的文本为输入,输出另一种编码的文本。

简单快捷的数据处理,数据科学需要注意的命令行

可选参数:

iconv -l 列出所有已知的编码字符集合
iconv -c 忽略不能转换的非法字符,静默地丢弃

HEAD(用于显示文件的开头内容)

如果你是一个频繁使用 Pandas 的用户,那么你会比较熟悉 df.head()。默认情况下 head 命令显示文件的前 10 行内容,当然我们也可以选择不同的参数确定打印的行数或字符数。

简单快捷的数据处理,数据科学需要注意的命令行

可选参数:

head -n <数字> 打印特定数目的行数
head -c <字符数> 打印特定数目的字符

TR(对字符进行替换、压缩和删除)

tr 与转译比较类似,它的强大能力是文件清理的主要工具。例如以下交换文件中的分隔符:

简单快捷的数据处理,数据科学需要注意的命令行
tr 的另一个功能是由我们控制的内置 [:class:] 参数,这些用法包括:
[:alnum:] 所有的字母和数字
[:alpha:] 所有的字母
[:blank:] 所有的水平空格
[:cntrl:] 所有的控制字符(非打印)
[:digit:] 所有的数字
[:graph:] 所有的可打印字符,不包含空格
[:lower:] 所有的小写字母
[:print:] 所有的可打印字符,包含空格
[:punct:] 所有的标点符号
[:space:] 所有的水平或垂直空格
[:upper:] 所有的大写字母
[:xdigit:] 所有的十六进制字符

我们可以将它们连接在一起组成强大的程序。下面是一个基本的字数统计程序,我们可以用它来检查 README 文档。

简单快捷的数据处理,数据科学需要注意的命令行

使用基本正则表达式的另一个例子是:

简单快捷的数据处理,数据科学需要注意的命令行

可选参数:

tr -d 删除字符
tr -s 压缩字符(将连续重复的字符用一个字符表示)
\b 空格
\f 换页符
\v 垂直制表符
\NNN 八进制字符 NNN

WC(用来计数的命令)

它的值主要来自于 -l flag,它会提供文档的行数。

简单快捷的数据处理,数据科学需要注意的命令行

这个工具可以方便地确认各种命令的输出。所以,如果我们转换了文件中的分隔符,那么运行 wc -l 就可以查看总行数是不是相同,不同就是出了问题。

可选参数:

wc -c 打印 Bytes 数目
wc -m 打印出字符数
wc -L 打印出最长行的字符数
wc -w 打印出单词数目

SPLIT(把一个大文件分割成小文件的命令)

文件大小可以使用这个命令大幅度改变。根据任务的不同,分割文件可能会有所帮助,所以就有了 split 命令。split 的基本语法如下:

简单快捷的数据处理,数据科学需要注意的命令行

两个怪异的地方是命名约定和文件的扩展名。后缀约定可以通过-d 标志来约定为数字。为了添加文件扩展名,您需要运行下面的 find 命令。它会改变当前路径下的所有文件名,给每个文件后面扩展.csv,所以,谨慎使用。

简单快捷的数据处理,数据科学需要注意的命令行

可选参数:

split -b 通过确定的字节大小分割
split -a 生成长度为 N 的后缀
split -x 使用十六进制后缀分割

SORT & UNIQ(sort:文件排序;uniq:报告或忽略文件中的重复行,与 sort 结合使用)

这两个命令提供了唯一的单词计数,这是因为 uniq 仅仅在重复的相邻行上运行。因此,这就是在输出之前进行排序的原因。一个有趣的注意事项是:sort -u 会与 sort file.txt | uniq 有着相同的结果。

对于数据科学家而言,排序具是一种潜在有用的能力:即基于特定列对整个 CSV 文件进行排序的能力。

简单快捷的数据处理,数据科学需要注意的命令行

这里的-t 选项将逗号作为我们的分隔符,通常会采用空格或者制表符。此外,-k flag 用于指定关键词。

可选参数:

sort -f 忽略大小写
sort -r 以相反的顺序排序
sort -R 乱序
uniq -c 统计出现的次数
uniq -d 仅仅打印重复行

CUT(cut 命令用来显示行中的指定部分,删除文件中指定字段。)

cut 用于删除列。举例来说,如果我们要删除第一列和第三列,可以使用 cut:

简单快捷的数据处理,数据科学需要注意的命令行

选择除了第一列之外的每一列:

简单快捷的数据处理,数据科学需要注意的命令行

与其他命令结合使用的时候,cut 作为一个过滤器:

简单快捷的数据处理,数据科学需要注意的命令行

找到第二列中某个特定值出现的次数:

简单快捷的数据处理,数据科学需要注意的命令行

PASTE(用于将多个文件按照列队列进行合并)

paste 是一个简洁命令,具有一个有趣的功能。如果您有两个需要合并的文件,并且它们已经排序,paste 能够实现这些功能。

简单快捷的数据处理,数据科学需要注意的命令行

更具 SQL 风格的变体,请参见下文。

JOIN(连接并合并文件)

join 命令是一个简单的、拟正切的 SQL。最大的区别在于 join 将返回所有列,并且只能在一个字段上进行匹配。默认情况下,join 将尝试使用第一列作为匹配键。对于不同的结果,必须使用以下语法:

简单快捷的数据处理,数据科学需要注意的命令行

标准 join 是内部连接。但是,外部连接也可以通过- a flag 实现。另一个值得注意的现象是- e 标志,如果找到丢失的字段,它可以用来替换值。

简单快捷的数据处理,数据科学需要注意的命令行

虽然不是最便于用户使用的命令,但是绝望的时候自有绝望的措施。

可选参数:

join -a 打印不能匹配的行
join -e 替换丢失的输入字段
join -j 等价于 -1 FIELD -2 FIELD

GREP(这是一种强大的文本搜索工具)

全面搜索正则表达式并打印(grep),这很可能是最出名的命令。grep 有很多强大的能力,尤其是在大型代码库中以我们自己的方式寻找字段。在数据科学领域,它充当着其它命令的细化机制。

简单快捷的数据处理,数据科学需要注意的命令行

统计包含单词/模式的总行数

简单快捷的数据处理,数据科学需要注意的命令行

使用\|运算子进行多值操作

简单快捷的数据处理,数据科学需要注意的命令行

可选参数:

alias grep="grep --color=auto" 使 grep 色彩化
grep -E 使用扩展的正则表达式
grep -w 只匹配全字符
grep -l 打印出匹配的文件名
grep -v 反转匹配

SED(流编辑器)

sed 是一个逐行运行的流编辑器。它擅长替换,但是也可以用于所有的重构(refactoring)。

最基本的 sed 命令包含 s/old/new/g。这指的是搜索旧值,并用新值替换。如果没有/gour 命令,终端将在第一次出现这个值之后停止。

为了快速体验这种能力,让我们来举个例子。若我们有以下文件:

简单快捷的数据处理,数据科学需要注意的命令行

我们想做的第一件事就是去掉美元符号。-i flag 指的是位置,''标志指的是零长度的文件扩展名,然后覆盖初始文件。理想情况下,我们可以单独测试其中的每一个,然后输出到新文件。

简单快捷的数据处理,数据科学需要注意的命令行
接下来,我们处理 balance 中的逗号
简单快捷的数据处理,数据科学需要注意的命令行
AWK(不仅仅是一个命令)

awk 不仅仅是一个简单的命令:它是一种成熟的语言。在本文所涉及的所有内容中,awk 是最酷的。如果你发现自己对 awk 印象深刻,也可以找更多的资源。

awk 的用例包括:

文本处理
格式化文本报告
执行数学运算
执行字符串操作

最新版的 awk 可以与 grep 并行使用。

简单快捷的数据处理,数据科学需要注意的命令行

或者使用一些技巧将 grep 和 cut 结合起来。这里,对于所有我们要查找的 word 行,awk 打印第三列和第四列和分隔符。-F,仅将分隔符改为逗号。

简单快捷的数据处理,数据科学需要注意的命令行

awk 内置了许多优秀的变量。例如,NF -字段数,NR -记录数。要在文件中获取第五十三条记录,代码如下:

简单快捷的数据处理,数据科学需要注意的命令行

一个额外的功能是基于一个或多个值进行过滤的能力。下面的第一个示例将打印第一列等于 string 记录的行数和列数。

简单快捷的数据处理,数据科学需要注意的命令行

多数值表达式:

简单快捷的数据处理,数据科学需要注意的命令行

对第三列求和:

简单快捷的数据处理,数据科学需要注意的命令行

对第一列等于『something』的所有行,对它们的第三列求和。

简单快捷的数据处理,数据科学需要注意的命令行

得到文件的维度:

主题: 数据AWKSQL投资数据处理UT删除GRECU科学家
分页:12
转载请注明
本文标题:简单快捷的数据处理,数据科学需要注意的命令行
本站链接:http://www.codesec.net/view/577114.html
分享请点击:


1.凡CodeSecTeam转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责;
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性,不作出任何保证或承若;
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。
登录后可拥有收藏文章、关注作者等权限...
技术大类 技术大类 | 大数据技术 | 评论(0) | 阅读(75)