温馨提示:本文翻译自stackoverflow.com,查看原文请点击:其他 - java.sql.SQLException: Unrecognized SQL type -102 while connecting to Oracle Database from Apache Sp
apache-spark jdbc oracle scala sql

其他 - java.sql.SQLException:从Apache Sp连接到Oracle数据库时,无法识别的SQL类型-102

发布于 2020-03-27 10:24:36

我正在尝试将远程Oracle数据库表加载到Apache Spark Shell。

这就是我启动“ Spark 壳”的方式。

./spark-shell --driver-class-path ../jars/ojdbc6.jar --jars ../jars/ojdbc6.jar --master local

并且我收到一个Scala提示符,在这里我尝试加载如下所示的Oracle数据库表。(我使用自定义的JDBC URL)

val jdbcDF = spark.read.format("jdbc").option("url", "jdbc:oracle:thin:@(DESCRIPTION=(ADDRESS_LIST=(ADDRESS=(PROTOCOL=WHATEVER)(HOST=myDummyHost.com)(PORT=xxxx)))(CONNECT_DATA=(SERVICE_NAME=dummy)(INSTANCE_NAME=dummyKaMummy)(UR=A)(SERVER=DEDICATED)))").option("dbtable", "THE_DUMMY_TABLE").option("user", "DUMMY_USER").option("password", "DUMMYPASSWORD").option("driver", "oracle.jdbc.driver.OracleDriver").load()

(用虚拟变量替换了雇主数据)

然后我得到这个错误。

java.sql.SQLException: Unrecognized SQL type -102
  at org.apache.spark.sql.execution.datasources.jdbc.JdbcUtils$.org$apache$spark$sql$execution$datasources$jdbc$JdbcUtils$$getCatalystType(JdbcUtils.scala:246)
  at org.apache.spark.sql.execution.datasources.jdbc.JdbcUtils$$anonfun$8.apply(JdbcUtils.scala:316)
  at org.apache.spark.sql.execution.datasources.jdbc.JdbcUtils$$anonfun$8.apply(JdbcUtils.scala:316)
  at scala.Option.getOrElse(Option.scala:121)
  at org.apache.spark.sql.execution.datasources.jdbc.JdbcUtils$.getSchema(JdbcUtils.scala:315)
  at org.apache.spark.sql.execution.datasources.jdbc.JDBCRDD$.resolveTable(JDBCRDD.scala:63)
  at org.apache.spark.sql.execution.datasources.jdbc.JDBCRelation$.getSchema(JDBCRelation.scala:210)
  at org.apache.spark.sql.execution.datasources.jdbc.JdbcRelationProvider.createRelation(JdbcRelationProvider.scala:35)
  at org.apache.spark.sql.execution.datasources.DataSource.resolveRelation(DataSource.scala:318)
  at org.apache.spark.sql.DataFrameReader.loadV1Source(DataFrameReader.scala:223)
  at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:211)
  at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:167)
  ... 49 elided

我想查看引号是否存在问题,但不是那样。

有人可以救我一命吗?

查看更多

查看更多

提问者
Aryan Venkat
被浏览
270
quasipolynomial 2019-07-03 21:21

问题是数据库中的字段不兼容。如果您不能修改数据库,但仍然想读取数据库,解决方案将是忽略特定的列(在我的情况下,它是类型为的字段geography)。借助如何通过Spack JDBC选择特定列的帮助,这是pyspark中的解决方案(scala解决方案将与此类似):

df = spark.read.jdbc(url=connectionString, table="(select colName from Table) as CompatibleTable", properties=properties)