Press "Enter" to skip to content

利用spark进行机器学习时模型序列化存储到hive解决方案

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

机器学习模型的训练和预测经常是在不同的时间点进行,在工程实现中,一般训练和预测都是在不同的子工程里面进行,训练子工程训练模型后存储到hive,之后预测子工程项目再将模型重hive中load出来进行预测

 

1.模型存储到hive

 

存储很简单,将要存储的模型调用如下spark的序列化方法def serialize(spark: SparkSession)序列化后再转换拼装成sql,然后执行 spark.sql(insertSQL)即可,如下

 

case class ModleToHive(modelBizType: String,
                        data: String)

    def save(modelUID: String): Unit = {
    val instance = ModleToHive(
      modelUID,
      modelBizType,
      model.serialize(spark)
      ) 
    val instDf = Seq(instance).toDF()
    instDf.createOrReplaceTempView("model")
    var sqlString = s"insert into modelTable select modelUID as modelUID, modelBizType as modelBizType, data as saved_model"
    sqlString = sqlString + " from model "
    spark.sql(sqlString).collect()

 

这样模型就存储到hive了

 

2.从hive仓库load模型并反序列化

 

val sqlString = s"select saved_model from modelTable where modelUID=modelUID "
    val modelHexBinary = spark.sql(sqlString).first() 
    val ser = new KryoSerializer(sparkConf).newInstance()
    val byteBuffer = ByteBuffer.wrap(DatatypeConverter.parseHexBinary(modelHexBinary.getString(0)))
    ser.deserialize[T](byteBuffer)

 

这样模型就又反序列化出来了,可用于预测了

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注