我在Linux shell中有包含以下详细信息的文件
Sam , apple
jhon , banana
Sam , apple
jhon , banana
Sam , mango
jhon , banana
jhon , apple
Sam , apple
Sam , papaya
使用我的Linux命令，我可以得到如下结果
cat /names/fav.log | cut -d "," -f 1|sort |uniq -c | sort -rn
结果
Sam 5
jhon 4
但我需要第二列的uniq计数。如下所示
Required result
浏览 3提问于2017-11-28得票数 0
回答已采纳
2回答
假设有一个数值列，如下所示：
File1：
1
2
3
3
3
4
4
4
5
6
我要输出：
3
4
也就是说，只有重复的线条。有什么命令行工具可以在Linux中找到这种情况吗？(注:数值是数字排序的)。
浏览 0提问于2012-10-22得票数 115
回答已采纳
2回答
使用linux命令，我有一个带引号的csv文件，我按第一列和第二列排序，现在我想删除第一列和第二列中匹配的重复项，该如何做到？uniq似乎还不够，或者说它还不够？
浏览 1提问于2011-06-13得票数 1
回答已采纳
3回答
在bash中排序
、、、
我一直在尝试获取bash中以制表符分隔的文件的每一列中的唯一值。因此，我使用了以下命令。
cut -f <column_number> <filename> | sort | uniq -c
它工作得很好，我可以获得列中的唯一值，它的计数如下
105 Linux
55 MacOS
500 Windows
我想要做的不是按列值名称排序(在本例中是操作系统名称)，而是按计数排序，并可能将计数放在此输出格式的第二列中。所以它必须看起来像这样：
Windows 500
MacOS 105
Linux 55
我该怎么做呢？
浏览 1提问于2010-08-18得票数 21
回答已采纳
我有一个包含大量数据的文本文件，其中以制表符分隔。我想查看一下数据，这样我就可以看到列中的唯一值。例如,
Red Ball 1 Sold
Blue Bat 5 OnSale
...............
因此，就像第一列有颜色一样，我想知道该列中有多少个不同的唯一值，并且我希望能够对每一列执行此操作。
我需要在Linux命令行中执行此操作，因此可能需要使用一些bash脚本、sed、awk或其他命令。
如果我也想要这些唯一值的计数呢？
更新:我想我没有把第二部分讲得足够清楚。我想要做的是对这些唯一值中的“每个”值进行计数，而不知道有多少个唯一值。例如，在第一列中，我想知道有多
浏览 0提问于2010-08-17得票数 39
回答已采纳
1回答
我正在尝试创建一个udf，它接受列中的值(数组)，并返回一个只包含唯一元素的数组。请参考以下Spark (1.6.1版)中的代码：
def uniq_array(col_array):
x = np.unique(col_array)
return x
uniq_array_udf = udf(uniq_array,ArrayType())
但是，我不断地遇到错误：TypeError: __init__() takes at least 2 arguments (1 given)
有没有人能帮我尽快解决这个错误？
谢谢!
浏览 1提问于2016-08-17得票数 7
3回答
因此，我正在检查我的文件的md5散列，并将其作为输出：
657cf4512a77bf47c39a0482be8e41e0 ./dupes2.txt
657cf4512a77bf47c39a0482be8e41e0 ./dupes.txt
8d60a927ce0f411ec94ac26a4785f749 ./derpina.txt
15f63928b8a1d5337137c38b5d66eed3 ./foo.txt
8d60a927ce0f411ec94ac26a4785f749 ./derp.txt
但是，在运行find . -type f -exec md5sum '{}&
浏览 0提问于2014-10-14得票数 38
回答已采纳
1回答
你好，我是个新手，所以我希望我的问题是准确的。
我需要在Linux中编写一个脚本，它将为每个登录用户真实姓名的用户写入输出(/etc/passwd中的第5列)。
输出应如下所示：
user1std James Brookes student
user2emp Jane Kowalski employee
.
.
...etc
你能帮帮忙吗？
浏览 2提问于2013-12-05得票数 0
我有一个包含网络的tsv文件。这是一段代码片段。列0包含唯一ID，列1包含替代ID(不一定是唯一的)。之后的每一对列都包含一个“交互角色”和一个交互得分。
11746909_a_at A1CF SHPRH 0.11081568 TRIM10 0.11914056
11736238_a_at ABCA5 ANKS1A 0.1333185 CCDC90B 0.14495682
11724734_at ABCB8 HYKK 0.09577321 LDB3
浏览 4提问于2017-07-16得票数 0
回答已采纳
2回答
我有一个包含人口、年份和县的列表，我需要删除该列表，然后找到uniq县的数量。
列表的开头是这样的：
#Population, Year, County
3900, 1969, Beaver
3798, 1970, Beaver
3830, 1971, Beaver
3864, 1972, Beaver
3993, 1973, Beaver
3976, 1974, Beaver
4064, 1975, Beaver
这份清单还有更多的内容，还有更多的县。我必须剪切县列，对其进行排序，然后输出uniq县的数量。我尝试了这个命令：
浏览 0提问于2014-02-06得票数 9
回答已采纳
3回答
熊猫:向csv出口熊猫
、、、
我有一个简单的ndarray，我想导出到一个csv，也就是说，我只想要一列逗号分隔的值。原因是我必须根据数组中的值从另一个df中对值进行排序。我的数据如下：
url='https://raw.githubusercontent.com/108michael/ms_thesis/master/rgdpconc.csv'
result=pd.read_csv(url, index_col=0)
uniq=result.IndustryClassification.unique()
#uniq.to_csv('rgdp_uniq_indstry_class.csv')
浏览 9提问于2016-04-26得票数 0
回答已采纳
我知道这应该是一个简单的谷歌搜索，但没有成功。很抱歉。
我想在第一列中打印定义值的第一行组。分隔符是制表符。
输入：
A 5
A 3
B 2
B 1
B 77
C 4
C 10000
D 99
输出：
A 5
B 2
C 4
D 99
浏览 0提问于2017-06-21得票数 4
回答已采纳
2回答
按键值计算的唯一散列数组
、、、
好吧那么..。我有一个像这样的散列：
[
{ :id => 0, :text => "someText" },
{ :id => 1, :text => "anotherText" },
{ :id => 2, :text => "someText" }
]
我想要的是filter散列，删除重复的:text值，结果是：
[
{ :id => 0, :text => "someText" },
{ :id => 1, :text =>
浏览 6提问于2015-07-22得票数 1
回答已采纳
2回答
我有一个价值列表，其中可能包含特殊字符，所有类型的字符。
jusewe@somemail.com
Denver Occupy|another name|metadata
another name
metadata
我需要一种使用linux中的linux实用程序或sed、awk的方法来获得输出:来自上述列表的唯一值：
jusewe@somemail.com
Denver Occupy
another name
metadata
我试过的是：
uniq -u test
浏览 0提问于2017-06-21得票数 1
回答已采纳
2回答
我的问题类似于。基本上有一个CSV文件，但有重复的PID，但我不能这样做.uniq：
File.open("new.csv", "w+") { |file| file.puts File.readlines("old.csv").uniq }
因为线条是不同的。我是Ruby的新手，我想知道是否有一种优雅的方法来删除仅基于第一列的整行？或者我必须遍历每一行并查找重复的PID？
浏览 2提问于2012-07-16得票数 3
回答已采纳
8回答
我可以在python中做到这一点，但是我想知道我是否可以在Linux中做到这一点。
我有一个这样的文件
name1 text text 123432re text
name2 text text 12344qp text
name3 text text 134234ts text
我想通过一个特定的用户名来查找第三列中所有不同类型的值，比如name 1。
grep name1文件名给了我所有的行，但是必须有某种方法来列出所有不同类型的值？(我不想显示相同用户名的重复值)
浏览 3提问于2011-08-05得票数 21
回答已采纳
3回答
我有一个按IP地址排序的日志文件，我希望找到每个唯一IP地址出现的次数。我怎么才能用bash做这件事？可能会列出ip旁边出现的次数，例如：
5.135.134.16 count: 5
13.57.220.172: count 30
18.206.226 count:2
诸若此类。
下面是日志的一个示例：
5.135.134.16 - - [23/Mar/2019:08:42:54 -0400] "GET /wp-login.php HTTP/1.1" 200 2988 "-" "Mozilla/5.0 (X11; Ubuntu; Linux x86_64
浏览 0提问于2019-03-28得票数 19
回答已采纳
我试图回答我在哪里得到这个问题。
我有一个包含id、email和first_name列的用户模型。因此，在单个查询中，我希望选择具有不同first_name的用户，按email对它们进行排序，并提取它们的ID。
我该怎么做？
有什么行不通的：
User.select(:first_name).uniq.pluck(:id)
因为它触发了这个SQL SELECT DISTINCT "users"."id" FROM "users"。这是从用户中选择不同的id。但是我们想选择不同的first_name
User.order("emai
浏览 0提问于2014-09-02得票数 2
回答已采纳
5回答
我想知道如何使用linux命令计算列中的唯一值。该列的值如下(数据是从以前的数据中编辑的)。我需要忽略.M，.Q和.A，只需数一数植物的独特数量。
"series_id":"ELEC.PLANT.CONS_EG_BTU.56855-ALL-ALL.M"
"series_id":"ELEC.PLANT.CONS_EG_BTU.56855-ALL-ALL.Q"
"series_id":"ELEC.PLANT.CONS_EG_BTU.56855-WND-ALL.A"
"series_id"
浏览 0提问于2019-05-07得票数 2
回答已采纳
2回答
我对BASH脚本比较陌生。我希望有人能帮忙。我有两个文件。文件1是包含某些服务器属性的.csv文件。
cmdb_ci_linux_server.csv
"CLS000","csl000","Linux SuSe","9","HP"
"CLS001","cls001","Linux SuSe","9","VMware, Inc."
"CLS002","cls002","Linux Red Hat&#
浏览 5提问于2015-04-28得票数 1
回答已采纳
我有~100000个文件，每个文件都有独特的行，例如：
File1.txt
chr1_1_200
chr1_600_800
...
File2.txt
chr1_600_800
chr1_1000_1200
...
File3.txt
chr1_200_400
chr1_600_800
chr1_1000_1200
...
每个文件都有大约3000万行，执行命令的时间是：
cat *txt | sort -u > Unique_Position.txt
这个系统内存不足。如何在Linux中使用正常的命令行来处理这个问题？
浏览 0提问于2019-08-26得票数 4
回答已采纳
我正在寻找一个Linux命令，在该命令中，我可以比较对于单个列，下面的行是否与当前正在检查的行具有相同的值，以及它们是否随后输出两行。我的文件是用制表符分隔的。
输入示例：
line 1 1 var281 7
line 2 1 var100 80
line 3 1 var99 85
line 4 2 var281 90
line 5 2 var281 91
line 6 2 var300 61
line 7 3 var50 45
line 8 3 var99 14
line 9 3 var99 19
浏览 22提问于2018-05-29得票数 1
我有一个文件asdf2，它有四个相同的行，它不能从linux uniq命令得到一致的结果。文件中没有回车符，只有换行符。
该文件有四行：
$ cat asdf2 | wc -l
4
Uniq声称只有前两行是相同的：
$ cat asdf2 | uniq -c | wc -l
3
删除特殊字符会使所有行都相同：
$ cat asdf2 | sed 's/\xFE//g' | uniq -c | wc -l
1
此字符不在文件中：
$ cat asdf2 | sed 's/\x1C/@/g' | tr -dc '@'
用不同的字符替换会使所有行都相同
浏览 2提问于2014-04-17得票数 1
1回答
我有4个文本文件，其中包含服务器名称如下：(每个文件有大约400行与不同的服务器名称)
Server1
Server299
Server140
Server15
我想比较一下这些文件，我想找到的是所有4个文件共有的服务器名称。
我不知道从哪里开始--我可以访问Excel和Linux。有什么聪明的主意吗？
我在excel中使用了vlookup来比较2列，但不认为这可以用于4列吗？
浏览 0提问于2013-09-18得票数 2
回答已采纳
我有这张桌子
gene 5 5 5
gene 4 4 3
gene 5 5 5
gene 1 4 5
我想有以下几点，
gene 5 5 5 2
gene 4 4 3 1
gene 1 4 5 1
因此，在最后一列中，我将有许多类似的行(在本例中是gene 5 5 5，它在原始表中出现两次，而其他行只出现一次)。
做这件事的最佳方法是什么？这是awk的工作吗？实际上，在Linux中甚至有可能吗？
浏览 0提问于2019-12-11得票数 -2
我想在Linux目录中找到所有user1拥有的和user1的组可执行文件。
使用find可以很好地工作：
find /$mydir -type f -user user1 -perm -010
但是我需要知道如何用ls和grep做同样的事情。
浏览 3提问于2017-09-06得票数 0
我很难理解代码：ls -l /projects/ghosttrail | tail -n +2 | sed 's/\s\s*/ /g' | cut -d ' ' -f 3 | sort | uniq -c。有人能给我详细解释一下每一步都发生了什么吗？我知道我自己可以一个一个地添加每个命令，但是代码对我不起作用，而且我也不理解一些东西，比如+2参数对尾的含义，或者我们通过放入sed命令实现了什么，以及为什么我们不把第4列放在剪切命令中。
来源：https://ryanstutorials.net/linuxtutorial/piping.php
浏览 0提问于2017-09-01得票数 0
3回答
awk打印线问题
、、
我现在遇到了awk命令的一些问题。最初的脚本是使用awk在MacOS上开发的，然后移植到Linux上。在那里，awk显示了一种不同的行为。
我要做的是统计通过/tmp/test.uniq.txt在文件/tmp/test.txt中提供的单个字符串的出现情况。
awk '{print $1, system("cat /tmp/test.txt | grep -o -c " $1)}' /tmp/test.uniq.txt
Mac提供的预期输出如下：
test1 2
test2 1
输出位于一行中，即sting和出现的次数，用空格分隔。
Linux提供的输出
浏览 1提问于2018-06-27得票数 1
回答已采纳
我试图找出这个命令的原因，因为我知道很基本，我发现
last | cut -d" " -f 1 | sort | uniq -c | sort
last =上次搜索文件/var/log/wtmp (或由var标志指定的文件)，并显示自创建该文件以来登录(和注销)的所有用户的列表。
cut用于显示所需的列。
选项-d指定输入文件中使用的字段分隔符。
-f指定要提取的字段
1是我想我不确定的输出
它在排序，然后它是
Uniq命令有助于删除或检测文件中的重复条目。本教程解释了几个最常用的uniq命令行选项，您可能会发现这些选项很有帮助。
如果有人能解释这个命令，并解释为什么有两种排序
浏览 2提问于2014-03-21得票数 0
我有一个linux日志，我只需要获得一个MAC地址的列表。MAC地址的格式为00:ab:27:d8:dd:dd
使用linux命令行工具，解析MAC地址的输入文件并发送到输出文件。其中输出文件只是MAC地址的列表，然后可以删除重复的MAC地址。
我怀疑这可能是一个多步骤，复杂的命令。我已经搜索了网站，但找不到复制regex搜索结果的匹配。我得到了一个reg表达式的混合结果，它甚至可以在文件中找到MAC地址，更不用说将所有正确的匹配复制到文件中了。
浏览 3提问于2015-02-04得票数 1
回答已采纳
4回答
他所有的，我有一个文件有几个栏目。我想对第2列进行排序，然后对第1列应用uniq。我发现这个讨论的是同一列的排序和uniq，但我的问题有点不同。我正在考虑使用sort和uniq的东西，但不知道如何使用。谢谢。
浏览 4提问于2011-06-10得票数 7
回答已采纳
我正在试图找到一个单行命令，它可以从Linux中的逗号分隔列表中删除重复的数字。
使用命令：grep ^[0-9] | cut -d '/' -f 1 | tr '\n' ',' | sed s/,$//
我正在尝试将这个命令导入一个同时删除重复数字的命令中。
前表：
53,80,443,4577,4578,22222,41818,50123,58774,80,443,4567,4577,4578,33005,34367,80,139,443,445,515,631,1865,9100,80,99,443,3389,41800
清单后：
53,8
浏览 20提问于2022-05-30得票数 1
这个问题与bash和Linux相关，比如Debian、Ubuntu或Linux Mint。
众所周知，通过bash on follow way打开一个新的firefox窗口：
Firefox
在follow way上打开一个新的Firefox标签是众所周知的：
Firefox https://stackoverflow.com
如何在显示尺寸为x%的情况下打开新的Firefox？
浏览 4提问于2021-02-21得票数 0
1回答
查找大型文本文件中是否存在一组行
、、、、
如何在windows中找到两个文件的交集？
TextFile A: 100 B: 10
我所能想到的就是使用python
我会将文本文件B中的行读入python中的内存中，并与文本文件A中的每一行进行比较。
我想知道是否有任何方法可以通过linux/windows中的命令提示符来做到这一点。
浏览 3提问于2015-10-14得票数 1
回答已采纳
我有一个包含数组列表的散列，我必须从这个数组中得到一个唯一的列表。但是，当我试图标识时，我没有得到任何错误或唯一的列表。
注意:我不想使用任何模块。
下面是包含数组的散列的示例结构：
'15445' => { 'str' => {
'TOKEN' => [
'HC',
'HC',
'
浏览 0提问于2019-02-11得票数 0
回答已采纳
我想在Rails中创建一个数组，它包含两个列的每个值，但每个列只包含一次。例如，在"A“列{1,5,7,1,7}和"B”{3,2,3,1,4}列中都有。
当我只想要一个包含"A“所有元素的数组时，我会写：
Model.uniq.pluck(:A)
我会得到{1,5,7}。
Rails中是否有一个选项可以对两列进行相同的操作，所以只需要一次获得包含在两列中的所有值？(这里是{1,5,7,3,2,4})
谢谢你帮忙！
浏览 3提问于2013-11-10得票数 0
回答已采纳
3回答
此脚本的等效C#语法是什么?：
<?php
$arr = array("linux", "windows", "linux", "linux", "windows", "mac os", "unix", "mac os");
$unique = array_unique($arr);
foreach($unique as $key=>$value){
echo $key."\n";
}
?>
上面代码的结果是：
0
1
5
6
浏览 0提问于2013-12-17得票数 1
我需要以用户的方式查看特定进程的计数。例如，我知道
ps -ef | grep apache
这列出了所有apache进程。现在，我要统计一下每个用户在Linux中运行的进程数量。
我怎么能拿到这个。
浏览 0提问于2017-06-22得票数 1
我有这样的条目
[NGS|00219|17-10-2012 19:05:43:977|INFO]
在我的日志文件中，如何使用grep或其他linux shell工具在日志文件中找到唯一的时间值(不包括毫秒
浏览 1提问于2012-10-18得票数 1
回答已采纳
如果我有一个包含以下内容的文本文件
red apple
green apple
green apple
orange
orange
orange
有没有Linux命令或脚本可以让我得到下面的结果？
1 red apple
2 green apple
3 orange
浏览 71提问于2011-06-23得票数 137
回答已采纳
1回答
linux中是否有一种方法可以在当前文件夹和childs的文件中找到重复次数最多的单词。我需要这个来查找我的项目中使用最多的c++类。输出可以是这样的：
class alpha : 157,
class beta : 98,
class gamma : 13,
...
是指157个对alpha类的引用，等等.
这可以使用Linux命令(可能是grep)来完成吗？还是我应该用工具来做这个？
浏览 3提问于2015-05-04得票数 1
回答已采纳
2回答
删除重复的shell命令
、、、
我想删除所有重复从一个文件有2列。标准只在我的第一列上，但是我需要在输出上保留第二列。例子：
提提
托托
提提b
提提
托托b
塔塔a
预期结果：
塔塔a
我真的不是shell命令方面的专家。我尝试使用"uniq -u“，但无法找到只在第一列中搜索重复项的方法
可能是另一个命令会更合适？
谢谢你的帮忙
浏览 3提问于2015-08-25得票数 0
2回答
如何引用散列数组以比较值
、、、
我有以下数据结构：
my %hash = (
'hsa_circ_0024017|chr11:93463035-93463135+|NM_033395|KIAA1731 FORWARD' => [
{
'energy' => '-4.3',
'spacer' => 'AGGCACC',
'end' => '97',
'start'
浏览 7提问于2017-07-26得票数 0
回答已采纳
所以我正在为练习做练习，但我遇到了一些令人困惑的事情。我需要计算文本文档中每个字母出现的次数，然后逐个打印，首先出现的字母。
问题在于，我需要按字母顺序对出现次数相同的字母进行排序。这是一个问题，因为sort会自动按字母顺序排序，所以当我按出现次数进行反向排序时，它会自动按反向字母顺序对出现次数相同的字母进行排序。
我尝试按列排序，所以它先对数字排序，然后对字母排序，但这不起作用。
所以现在让我们只使用几个字母。
echo eeeeerrrbbbcccnN | tr a-z A-Z | grep -iE [a-z] -o | sort | uniq -c | sort -rn | tr -d
浏览 42提问于2019-10-31得票数 1
回答已采纳
1回答
我有两个数据文件，每个都有相同的列。有些列的值在这两种数据格式中都是相同的(下面是X1、X2 )。其他列的值相同，但顺序不同(Y1)。对于某些级别的第一个变量来说，这只是一个问题(在这里，Y1中的行顺序对于X1 == "a"是不同的，而不是X1 == "b")。示例：
df1 <- data.frame("X1" = c("a", "a", "a", "b", "b", "b"),
"X2" =
浏览 5提问于2019-10-25得票数 1
回答已采纳
cut -f2 words.txt | sort | uniq -c | sort -nr > counted.txt
此命令从文件中选择列，计数每个条目并根据频率进行排序，然后将结果输出到counted.txt，按频率排序，如下所示：
1 71321 good
2 14945 bad
3 5891 nice
4 4641 pretty
5 4494 slow
6 3671 quick
...
然而，这个输出分隔符是一个空格，我想要一个制表符作为分隔符。我使用--output-delimiter尝试了以下操作：
cut -f2 --
浏览 3提问于2018-09-17得票数 0
在Linux中，我有一个文本文件，其中有重复的单词如下
abc line 1
xyz zzz
123 456
abc end line
现在我只想打印所有重复的单词(这是abc)如何？
浏览 2提问于2014-02-26得票数 8
回答已采纳
2回答
我知道如何用C在Linux中创建一个看起来像cat /tmp/txt |grep foo的管道，但我在实现像这样的多个链式管道时遇到了问题。如何在Linux中用pipe()用C实现这一点？
更新:我已经弄清楚了。如果任何人有同样的问题，下面是代码：
enum PIPES {
READ, WRITE
};
int filedes[2];
int filedes2[2];
pipe(filedes);
pipe(filedes2);
pid_t pid = fork();
if (pid == 0) {
dup2(filed
浏览 0提问于2011-11-29得票数 3
回答已采纳
我有一个大型数据集，其中包含一个名为"TYPE_DESCRIPTION“的列，该列描述每个观察的活动类型。
但是，我以某种方式获得的原始数据集可能包含"TYPE_DESCRIPTION“列中同一活动的多次重复。比方说，在"TYPE_DESCRIPTION“列中显示的活动(或值)可以包含"Walking，Walking"，而不仅仅是"Walking”。如何删除该列中"Walking“的重复，使其只具有一次值？
我尝试了distinct()函数，但是它将"Walking，Walking“定义为一个唯一的值。而我想要的只是“散步”。
这
浏览 8提问于2022-07-07得票数 -1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
