检查列数据类型并仅对Spark SQL中的Integer和Decimal执行SQL
在Spark SQL中，可以通过检查列数据类型来筛选出Integer和Decimal类型的列，并对其执行SQL操作。
首先，Spark SQL是一种用于处理结构化数据的分布式数据处理引擎，它提供了一套用于查询和分析数据的API和工具。Spark SQL支持多种数据源，包括关系型数据库、Hive、Parquet、Avro等。
在Spark SQL中，可以使用元数据信息来检查列的数据类型。元数据信息存储在Spark的Catalog中，包括表的结构、列的数据类型等。通过访问Catalog，可以获取表的元数据信息，并进一步筛选出Integer和Decimal类型的列。
以下是一个示例代码，演示如何检查列数据类型并仅对Integer和Decimal类型的列执行SQL操作：
import org.apache.spark.sql.SparkSession
// 创建SparkSession
val spark = SparkSession.builder()
.appName("Spark SQL Column Type Check")
.master("local")
.getOrCreate()
// 读取数据源，例如从数据库或文件中读取数据
val df = spark.read.format("csv").load("data.csv")
// 获取表的元数据信息
val catalog = spark.catalog
val tableName = "data_table"
val table = catalog.getTable(tableName)
// 获取列的数据类型
val schema = table.schema
val integerColumns = schema.filter(_.dataType == org.apache.spark.sql.types.IntegerType)
val decimalColumns = schema.filter(_.dataType == org.apache.spark.sql.types.DecimalType)
// 构建SQL查询语句
val integerSql = "SELECT " + integerColumns.map(_.name).mkString(", ") + " FROM " + tableName
val decimalSql = "SELECT " + decimalColumns.map(_.name).mkString(", ") + " FROM " + tableName
// 执行SQL查询
val integerResult = spark.sql(integerSql)
val decimalResult = spark.sql(decimalSql)
// 处理查询结果
// ...
// 关闭SparkSession
spark.stop()在上述示例中，我们首先创建了一个SparkSession，然后读取了数据源（这里假设是一个CSV文件）。接下来，我们通过访问Catalog获取了表的元数据信息，并筛选出了Integer和Decimal类型的列。然后，我们构建了针对Integer和Decimal类型列的SQL查询语句，并通过SparkSession执行了这些SQL查询。最后，我们可以对查询结果进行进一步处理。
对于Spark SQL中的Integer和Decimal类型的列，可以根据具体的业务需求选择相应的腾讯云产品进行处理。例如，可以使用腾讯云的云数据库 TencentDB 来存储和管理数据，使用云函数 SCF 来处理数据，使用云原生服务 TKE 来部署和管理应用程序等。具体的产品选择和介绍可以参考腾讯云官方文档。
请注意，上述示例中没有提及亚马逊AWS、Azure、阿里云、华为云、天翼云、GoDaddy、Namecheap、Google等流行的云计算品牌商，根据要求，直接给出了答案内容。如果需要了解更多关于云计算品牌商的信息，可以参考官方文档或进行相关的市场调研。
相关·内容
2回答
我从我们的数据仓库扩展数据，将其存储在一个拼花文件中，并将所有的拼花文件加载到一个火花数据文件中。到目前一切尚好。然而，当我试图用pandas.plot()函数来绘制这个图时，它会抛出一个"TypeError:空的'DataFrame'：没有要绘制的数字数据“
因此，我开始追溯到我的源代码，我认为从我的初始sql语句到十进制的转换是问题之一。但我不知道怎么解决这个问题。我原以为填充物(0)会起作用，但它没有。
步骤1:定义SQL语句以提取数据
mpr_sql = """
select
CAST(DATE_KEY AS INTEGER) AS
浏览 4提问于2015-11-02得票数 9
1回答
火花UDF过载
、、
我有一个要求，星火UDF必须过载，我知道UDF超载是不支持在星火。因此，为了克服spark的这个限制，我尝试创建一个接受任何类型的UDF，并在UDF中找到实际的数据类型，并调用相应的方法进行计算并返回相应的值。当我这样做时，我得到了一个错误
Exception in thread "main" java.lang.UnsupportedOperationException: Schema for type Any is not supported
at org.apache.spark.sql.catalyst.ScalaReflection$$anonfun$sche
浏览 3提问于2020-09-28得票数 0
我有两个具有map数据类型列的dataframe。我尝试使用传统的except方法来获取两个数据帧之间的差异，但是我得到了下面的错误。
scala> val outputDF = Seq(
| (1, "Visa", 0, Map("Visa" -> 1)),
| (2, "MC", 2, Map("Visa" -> 1, "MC" -> 1)),
| (3, "Amex", 0, Map("Amex" -> 1)),
浏览 1提问于2020-10-28得票数 0
我有这样的方法：
def self.weighted_average(column)
sql = "SUM(#{column} * market_cap) / SUM(market_cap) as weighted_average"
Company.select(sql).to_a.first.weighted_average
end
当列是一个decimal时，它返回一个值，没有问题。但是，当列为integer时，方法最终会出现PG::NumericValueOutOfRange错误。
应该将列类型integer更改为decimal，还是有一种方法可以
浏览 12提问于2016-09-14得票数 10
回答已采纳
我有一个简单的spark作业，它从文件中拆分单词并加载到hive中的表中。
public static void wordCountJava7() {
// Define a configuration to use to interact with Spark
SparkConf conf = new SparkConf().setMaster("local[4]").setAppName("Work Count App");
SparkContext sc = new SparkContext(conf);
// Crea
浏览 1提问于2016-04-29得票数 1
我正在尝试检查来自输入Parquet文件的列的数据类型，如果数据类型是Integer或Decimal，则运行Spark SQL。
//get Array of structfields
val datatypes = parquetRDD_subset.schema.fields
//Check datatype of column
for (val_datatype <- datatypes) if (val_datatype.dataType.typeName == "integer" || val_datatype.dataType.typeName.co
浏览 1提问于2017-07-26得票数 3
回答已采纳
当我试图查看从拼图文件创建的dataframe中的数据时，我遇到了下面的错误。 Expected: decimal(16,2), Found: BINARY
at org.apache.spark.sql.execution.datasources.FileScanRDD$$anon$1.nextIterator(FileScanRDD.scala:221)
at org.apache.spark.sql.execution.datasources.FileScanRDD$$anon$1.hasNext(FileScanRDD.scala:130)
浏览 153提问于2020-04-30得票数 2
Spark版本2.4.0集群: AWS EMR
我正在将tsv.gz输入文件读入到spark dataframe中，当尝试将其存储回来时，无论是否进行一些转换，如果推断模式为真，则会得到如下所示的异常。
tsv_data = spark. \
read. \
format("csv"). \
option("delimiter", "\t"). \
option("header", "true"). \
option("inferSchema", "t
浏览 3提问于2019-09-04得票数 1
3回答
数据库中有两个Integer列(derby和db2)。我需要在一个JPQL中把它们分开。
如果余数为十进制数，则这两列都返回零，例如，Integer变为0等，这是可以理解的，因为类型是int。
例如，在SQL中，我可以使用这个
select CAST(column1 as decimal(6,2))/CAST(column2 as decimal(6,2))from Sometable;
但是什么是JPQL等价的。
一个选项可能是(我还没有试过)，在实体中有一个@Transient方法，返回Decimal类型并在那里进行计算，并将其传递给JPQL，但是我宁愿让SQL来完成这项工作。
Mysq
浏览 3提问于2012-05-11得票数 9
回答已采纳
我正在试图绘制PySpark数据中目前存在的一些数据-但是，为了达到我可以绘制它的程度，我需要将一个列从一个字符串转换为一个DoubleType。通常情况下不是问题，但是演员们并没有像预期的那样工作：
from pyspark.sql import functions as F
from pyspark.sql import SparkSession
spark_session = SparkSession.builder.getOrCreate()
properties = {
"driver": "org.post
浏览 4提问于2020-09-26得票数 1
回答已采纳
1回答
我正在尝试在ORC文件上创建外部配置单元表。 用于创建表的查询： create external table fact_scanv_dly_stg (
store_nbr int,
geo_region_cd char(2),
scan_id int,
scan_type char(2),
debt_nbr string,
mds_fam_id string,
upc_nbr string,
sales_unit_qty string,
sales_amt string,
cost_amt string,
visit_dt string,
rtn_amt string,
crncy_cd s
浏览 28提问于2020-04-30得票数 0
1回答
我正试着用SparkSql HiveContext来读Hive表。但是，当我提交工作时，会出现以下错误：
Exception in thread "main" java.lang.RuntimeException: Unsupported parquet datatype optional fixed_len_byte_array(11) amount (DECIMAL(24,7))
at scala.sys.package$.error(package.scala:27)
at org.apache.spark.sql.parq
浏览 4提问于2015-08-05得票数 1
回答已采纳
Spark窗口函数似乎不能正常工作。我正在Hadoop集群中运行spark作业，其中HDFS块大小为128 MB，Spark版本为1.5CDH5.5
我正在读取一个avro文件并执行以下操作
My requirement:
如果有多个具有相同data_rfe_id的记录，则按最大seq_id和maxiumum service_id取单个记录。
我看到在原始数据中有一些记录具有相同的data_rfe_id和相同的seq_id，因此，我使用row_number函数使用窗口函数来过滤row_num === 1的记录。
我只想使用窗口功能来实现这一点。
为什么会发生这种事？
在对dataframe应用
浏览 2提问于2017-10-01得票数 5
我使用的是星星之火-sql.2.4.1v，datastax-java-cassandra-connector_2.11-2.4.1.jar和java8。
我创建cassandra表如下所示：
create company(company_id int PRIMARY_KEY, company_name text);
JavaBean如下所示：
class CompanyRecord(
Integer company_id;
String company_name;
//getter and setters
//default & parametarized constructors
浏览 2提问于2019-10-28得票数 1
我有一个Spark数据帧，其中一列是整数数组。该列可以为空，因为它来自左外部联接。我希望将所有null值转换为一个空数组，这样以后就不必处理null值了。
我想我可以这样做：
val myCol = df("myCol")
df.withColumn( "myCol", when(myCol.isNull, Array[Int]()).otherwise(myCol) )
但是，这会导致以下异常：
java.lang.RuntimeException: Unsupported literal type class [I [I@5ed25612
at org.ap
浏览 5提问于2016-01-08得票数 24
回答已采纳
我的要求是将DataFrame中的所有Decimal数据类型转换为字符串。逻辑可以很好地处理简单类型，但不能处理ArrayType。逻辑是这样的：
var df = spark.sql("select * from test_1")
for(dt <- df.dtypes) {
if(dt._2.substring(0,7) == "Decimal"){
df = df.withColumn(dt._1,df(dt._1).cast("String"))
}
}
但是arrayType中的列保持不变，尽管它们是decim
浏览 200提问于2018-05-28得票数 0
回答已采纳
我正在尝试将Pyspark数据框架转换为一个熊猫数据框架。
同时，计算long、lat值并将其更新到数据帧中。
def cos_max_longitude(radian_longitude, radian_latitude):
return radian_longitude + np.arcsin(np.sin(r) / np.arccos(radian_latitude))
错误堆栈：
Traceback (most recent call last):
File "/usr/local/src/spark/python/lib/pyspark.zip/pyspark/w
浏览 3提问于2019-12-06得票数 0
3回答
我有两个月的拼花文件2017_01.parquet和2017_08.parquet，这些模式是：
2017_01.parquet：
root
|-- value: struct (nullable = true)
| |-- version: struct (nullable = true)
| | |-- major: integer (nullable = true)
| | |-- minor: integer (nullable = true)
| |-- guid: string (nullable = true)
2017_08.parquet：
浏览 1提问于2017-09-25得票数 4
当创建一个列值默认值为NULL的表时，我在Spark(1.6) SQL中获得了下面的错误。示例:将表测试创建为select column_a，NULL作为column_b从test_temp创建；
同样的东西在Hive中工作，并创建数据类型为"void“的列。
我使用空字符串而不是NULL来避免异常和新列获取字符串数据类型。
是否有更好的方法使用spark在hive表中插入空值？
2017-12-26 07:27:59 ERROR StandardImsLogger$:177 - org.apache.hadoop.hive.ql.metadata.HiveException: jav
浏览 3提问于2017-12-27得票数 0
回答已采纳
1回答
我正在尝试更改数据帧的模式。每次我有一个字符串类型的列时，我想把它的类型改为VarcharType( max )，其中max是该列中字符串的最大长度。我写了下面的代码。(我想稍后将数据帧导出到sql server，并且我不想让nvarchar出现在sql server中，所以我尝试将其限制在spark端) val df = spark.sql(s"SELECT * FROM $tableName")
var l : List [StructField] = List()
val schema = df.schema
schema.fields.foreach(x =>
浏览 25提问于2020-01-22得票数 0
回答已采纳
我可以用一个数据类型为Map的列创建一个新的Dataframe。
val inputDF2 = Seq(
(1, "Visa", 1, Map[String, Int]()),
(2, "MC", 2, Map[String, Int]())).toDF("id", "card_type", "number_of_cards", "card_type_details")
scala> inputDF2.show(false)
+---+---------+---------------+--
浏览 1提问于2020-10-22得票数 0
我有一个遗留数据库，它是用数据库类型INTEGER for many (1.000+) Oracle列创建的。MS SQL存在具有相同结构的数据库。据我所知，最初的定义是使用一个工具创建的，该工具为MS SQL和Oracle生成从逻辑模型到特定模型的脚本。
使用C++和MFC，列可以很好地映射到两个数据库管理系统的整数类型。
我正在将这个应用程序移植到.NET和C#。使用相同的C#代码库来访问MS和Oracle。我们使用相同的DataSets和逻辑，我们需要相同的类型(两者都使用int32)。
Oracle的ODP.NET驱动程序将它们映射到Decimal。这是合乎逻辑的，因为Oracle自动
浏览 2提问于2015-09-16得票数 0
在下面的问题上寻求帮助。我们使用spark从Oracle获取数据，其中一种列数据类型是number(28,5)，对于较小的值，它工作得很好，但是如果数据被截断，比如-544205937126085.125正在转换为-544205937126085.100，我尝试了本地的，但问题是，它是相同的问题。
import org.apache.spark.sql.SparkSession
object DecimalIssue {
def main(args: Array[String]): Unit = {
val spark = SparkSession.builder().maste
浏览 5提问于2020-04-16得票数 1
1回答
我有一个Python包，其中有一个模块，其中包含要在PySpark设置中使用的UDF。在运行单元测试时，我已经想出了一种初始化和关闭Spark会话的方法，但是我在创建文档时遇到了问题。我使用的是，所以我只需运行make clean docs并遇到以下错误：
File "/usr/local/lib/python3.9/site-packages/pyspark/sql/pandas/functions.py", line 432, in _create_pandas_udf
return _create_udf(f, returnType, evalType)
浏览 8提问于2022-03-31得票数 1
回答已采纳
我试图在spark scala中关联两列数据帧，方法是将原始数据帧的列通过管道传输到VectorAssembler中，然后是关联实用程序。由于某些原因，Vector汇编程序似乎生成了空向量，如下所示。这是我到目前为止所掌握的。 val numericalCols = Array(
"price", "bedrooms", "bathrooms",
"sqft_living", "sqft_lot"
)
val data: DataFrame = HousingD
浏览 17提问于2020-07-29得票数 0
我正在尝试从Hive表中加载一些数据，其中一列如下：
id - bigint
当我将表加载到dataframe中并执行printSchema时，我看到Spark与Hive Metastore一致，即id是long类型。然而，当我尝试对表做任何事情时，我得到了这个错误：
SparkException: Job aborted due to stage failure: Task 0 in stage 14.0 failed 4 times, most recent failure: Lost task 0.3 in stage 14.0 (TID 218, 10.139.64.41, execu
浏览 3提问于2019-11-28得票数 0
1回答
我在通过火花阅读地板时遇到了一个问题。
使用类型为a的字段Integer编写了一个拼花文件。然后，使用a的模式作为Long读取这个文件会出现异常。
原因:未实现类型: org.apache.spark.sql.execution.datasources.parquet.VectorizedColumnReader.readIntBatch(VectorizedColumnReader.java:397) at org.apache.spark.sql.execution.datasources.parquet.VectorizedColumnReader.readBatch(Vectoriz
浏览 0提问于2018-08-31得票数 4
回答已采纳
我正试图通过启用inferSchema来将csv文件读入火花df，但随后无法获得fv_df.columns。下面是错误消息
>>> fv_df = spark.read.option("header", "true").option("delimiter", "\t").csv('/home/h212957/FacilityView/datapoints_FV.csv', inferSchema=True)
>>> fv_df.columns
Traceback (most re
浏览 12提问于2017-04-26得票数 0
使用Spark中的JDBC数据源，我们尝试运行以下查询
select nvl( columnName , 1.0) from tablename
给出错误为
cannot resolve 'nvl(tablename.`columnname`, 1.0BD)' due to data type mismatch: input to function coalesce should all be the same type, but it's [decimal(38,10), decimal(2,1)]
我知道我们可以用
select nvl( columnname ,
浏览 0提问于2016-12-14得票数 2
回答已采纳
1回答
如何获得Scala数据的相关矩阵
、、、、
我有Scala数据和数字数据：
df2_num.printSchema
root
|-- ot2_total_sum: decimal(38,18) (nullable = true)
|-- s42_3: decimal(38,0) (nullable = true)
|-- s109_5: decimal(38,0) (nullable = true)
|-- is_individual: decimal(38,0) (nullable = true)
|-- s118_5: decimal(38,0) (nullable = true)
|-- s46_3: decimal
浏览 6提问于2022-03-17得票数 0
我得到了这个错误
line 23, in parseRating
IndexError: list index out of range
最后一行...upon抛出这个错误，但是所有.show()的工作，我不认为这是数据的问题，但我可能是错的。
这是个新手，我真的不知道发生了什么。非常感谢您的帮助。
import os
from os import remove, removedirs
from os.path import join, isfile, dirname
from pyspark.sql.functions import col, explode
import pa
浏览 4提问于2021-10-07得票数 1
当我使用spark sql查询dataframe中的数据时，我的查询返回错误。从错误中，我找不出哪一列有错误。
我的表很大，有120列和176M行。
这是我的查询：%sql select order_entry_date，count(1) cnt，sum(paid_units) paid_unit，sum(total_revenue) rev from mart_bc_order_item group by 1 order by 1
错误如下：
java.lang.NumberFormatException: For input string: "�"
at java.
浏览 52提问于2017-07-25得票数 0
我在我的表中创建了一个空列，当我使用'‘作为列名时，它创建了空列但字符串类型。如何创建Integer/decimal类型的空列？ 空，因为列名不起作用！谢谢!
浏览 38提问于2019-05-09得票数 1
使用火花2.1
我创建了一个DataSet，里面有MapDataType
StructType schema = new StructType(new StructField[]{
new StructField("id", DataTypes.IntegerType, false, Metadata.empty()),
new StructField("words", DataTypes.StringType, false, Metadata.empty()),
n
浏览 7提问于2017-05-22得票数 14
2回答
我正在尝试合并两个dataframe，并创建一个包含其他dataframe数组的新列。有人知道如何在scala中实现这一点吗？
//方案1
PRIM_KEY: decimal(20,0) (nullable = true)
|-- SOME_DECIMAL: decimal(20,0) (nullable = true)
|-- SOME_INTEGER: integer (nullable = true)
//方案2
PRIM_KEY: decimal(20,0) (nullable = true)
|-- COLUMN1: string (nullable = false)
|-- COL
浏览 2提问于2017-10-05得票数 1
回答已采纳
我正在管理高度嵌套的数据，我偶然发现了一种非常奇怪的行为。考虑以下代码：
t = base.select("id", sqlFunctions.explode("options.AttributeChoice").alias("attribute_data")) \
.select(["id", "attribute_data.attributeName", sqlFunctions.explode("attribute_data.allowedValues.value")]) \
.wit
浏览 8提问于2021-12-14得票数 1
是否有Spark SQL唯一的解决方案将强制转换应用于复杂的列，如下所示： amap map<bigint,struct<dname1:string,dval1:decimal(38,18)>> 我希望转换后的列看起来像下面这样(实际上只是小数精确转换)。 amap map<bigint,struct<dname1:string,dval1:decimal(18,5)>> 我正在寻找Spark-SQL only解决方案，类似于： SELECT CAST(amap as <NOTSUREWHAT>) AS casted_m
浏览 14提问于2019-01-08得票数 0
回答已采纳
1回答
我正在处理包含多列(变量)的.csv文件。这些变量中的每一个都可能是Decimal、VARCHAR或Date类型。
如果一个列包含all numbers，则为Decimal；如果all日期为Date，则默认值为VARCHAR。
我知道一种通过检查数据集中的每个值来确定这个值的方法。
CSVReader reader = new CSVReader (new FileReader(.....));
String row [] = reader.readNext();
while ((row = reader.readNext()) !=null ) {
浏览 4提问于2014-01-09得票数 1
1回答
简单的请求是，我需要帮助将列添加到dataframe，但是，列必须是空的，它的类型来自...spark.sql.types，类型必须由字符串定义。
我也许可以用ifs或case来完成这个任务，但是我正在寻找更优雅的东西。不需要为org.apache.spark.sql.types中的每一种类型编写案例的东西
例如，如果我这样做：
df = df.withColumn("col_name", lit(null).cast(org.apache.spark.sql.types.StringType))
它按预期工作，但我将类型存储为字符串，
var the_type = "
浏览 4提问于2017-08-31得票数 2
回答已采纳
我是Spark和Scala的新手。我试图调用一个函数作为Spark UDF，但我遇到了这个错误，我似乎无法解决。
我知道在Scala中，Array和Seq是不同的。WrappedArray是Seq的一个子类型，并且在WrappedArray和数组之间存在隐式转换，但我不确定为什么在使用自定义函数的情况下不会发生这种转换。
任何能帮助我理解和解决这个问题的建议都是非常感谢的。
这是一段代码片段
def filterMapKeysWithSet(m: Map[Int, Int], a: Array[Int]): Map[Int, Int] = {
val seqToArray = a.toArra
浏览 0提问于2016-10-23得票数 23
回答已采纳
当我想在Spark2.2中重命名我的DataFrame列并使用show()打印它的内容时，我会得到以下错误：
18/01/04 12:05:37 WARN ScalaRowValueReader: Field 'cluster' is backed by an array but the associated Spark Schema does not reflect this;
(use es.read.field.as.array.include/exclude)
18/01/04 12:05:37 WARN ScalaRowValueRead
浏览 3提问于2018-01-04得票数 0
回答已采纳
2回答
我有一个这样的数据帧：
rdd1 = sc.parallelize([(100,2,1234.5678),(101,3,1234.5678)])
df = spark.createDataFrame(rdd1,(['id','dec','val']))
+---+---+---------+
| id|dec| val|
+---+---+---------+
|100| 2|1234.5678|
|101| 3|1234.5678|
+---+---+---------+
根据dec列中的可用值，我希望在val列上完成转换。例如
浏览 4提问于2018-08-28得票数 0
回答已采纳
我正在尝试从Glue dynamic frame中提取列名和数据类型，并希望在spark sql中使用它们。对于ex： persons = glueContext.create_dynamic_frame.from_catalog(
database="legislators",
table_name="customer_table") persons.printSchema() 输出为 根|-- cust_no: long |--名称:字符串|--地址:字符串|-- zip: long 如何从动态框架中提取列名和数据类型
浏览 17提问于2020-09-01得票数 1
我有一个列，它是星火表中的array < string >类型。我正在使用SQL查询这些星火表。我想把array < string >转换成string。
当使用以下语法时：
select cast(rate_plan_code as string) as new_rate_plan from
customer_activity_searches group by rate_plan_code
rate_plan_code列具有以下值：
["AAA","RACK","SMOBIX","SMOBPX"]
浏览 10提问于2016-08-12得票数 19
回答已采纳
在IBMDB2/AS400中，我有一个类型为"PIC (7) COMP-3“的date列。当我将这些值放入SQL Server时，我的列的数据类型更改为"decimal(7,0)".This只是使DB2数据类型类似于SQL Server。
现在，我想看看在这个特定的日期列中是否有任何"space“或"numeric”。
date列如下所示：
DATE
-------
4040404
(a space)
404040
2020202
(a space)
202020
在类似这样的where条件下，会出现错误：“将数据类型var
浏览 2提问于2017-12-10得票数 0
尝试获取varchar列的火花长度，在以下Impala表中声明：
show create table dev_dm_rco.f102
结果：
CREATE TABLE dev_dm_rco.f102 (
rep_id INT,
msr_prd_id INT,
...
bank_code VARCHAR(9),
tu_cd VARCHAR(2),
pl_stmt_num VARCHAR(5)'
)
PARTITIONED BY (
report_date VARCHAR(50)
)
STORED AS PARQUET
LOCATION ...
TBLPROPE
浏览 1提问于2021-11-09得票数 1
我正在尝试向数据集添加标量查询。查询非常简单，它只是将几列中的一些十进制值相加并返回它们。我100%确信只返回一行和一列，并且它是decimal类型(SQL货币类型)。问题是，由于某些原因，生成的方法(在.designer.cs代码文件中)返回一个object类型的值，而它应该是decimal。奇怪的是，还有另一个标量查询，它具有完全相同的SQL，但返回的却是decimal。
数据集设计器如何确定数据类型，以及如何告诉它返回decimal？
浏览 1提问于2010-04-15得票数 3
2回答
持久化计算列的数据类型是什么？
(a) Server是否自动推断？
(b)将其转换为数据类型也更好，这样SQL就不会花时间查找它是什么数据类型？
create table dbo.CustomerTransaction
(
CustomerTransactionId int primary key identity(1,1),
CustomerId int,
Price decimal(10,2),
Quantity int,
TotalAmount as CustomerId * Price PERSISTED -- should I cast as cast
浏览 0提问于2018-10-23得票数 3
回答已采纳
我有一个名为pres2的org.apache.spark.sql.DataFrame (大约1000行，在运行Spark 2.1.0的AWS3节点EMR集群(v5.3.1)上生成)，如下所示：
+-------------------+--------------------+----------+
| CreatedAt| tweet|prediction|
+-------------------+--------------------+----------+
|2015-10-12 20:58:52|This Saturday is ...
浏览 2提问于2017-03-11得票数 9
回答已采纳
我有一个从sql上下文构建的spark dataframe。我使用DATE_FORMAT(time, 'Y/M/d HH:00:00') AS time_hourly截断了a日期时间字段
现在，列类型是一个字符串。如何将字符串dataFrame列转换为datetime类型？
浏览 2提问于2016-08-18得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
