上一节:
下一节:

  Python 机器学习-训练/测试

  • 评估模型

    在机器学习中，我们创建模型来预测某些事件的结果，就像在上一章中了解重量和发动机尺寸时，我们预测了汽车的二氧化碳排放量一样。要衡量模型是否足够好，我们可以使用一种称为训练/测试的方法。
    什么是训练/测试?
    训练/测试是一种测量模型准确性的方法。之所以称为训练/测试，是因为您将数据集分为两组：训练集和测试集。
    80％用于训练，20％用于测试。
    你训练使用训练集模型。您测试使用的测试集的模型。训练模型意味着创建模型。测试模型意味着测试模型的准确性。

  • 从数据集开始

    从要测试的数据集开始。我们的数据集说明了商店中的100位客户及其购物习惯。 
    import numpy
import matplotlib.pyplot as plt
numpy.random.seed(2)

x = numpy.random.normal(3, 1, 100)
y = numpy.random.normal(150, 40, 100) / x

plt.scatter(x, y)
plt.show()
    输出如下：：
    x轴表示购买前的分钟数。y轴表示在购买上花费的金额。 
    ml

  • 分成训练/测试

    训练集应该是原始数据的80％随机选择。测试集应该是剩余的20％。 
    train_x = x[:80]
train_y = y[:80]

test_x = x[80:]
test_y = y[80:]

  • 显示训练集

    显示与训练集相同的散点图： 
    import numpy
import matplotlib.pyplot as plt
numpy.random.seed(2)

x = numpy.random.normal(3, 1, 100)
y = numpy.random.normal(150, 40, 100) / x
train_x = x[:80]
train_y = y[:80]

plt.scatter(train_x, train_y)
plt.show()
    输出如下：：
    看起来像原始数据集，因此似乎是一个公平的选择： 
    ml

  • 显示测试集

    为了确保测试集没有完全不同，我们还将介绍一下测试集。 
    import numpy
import matplotlib.pyplot as plt
numpy.random.seed(2)

x = numpy.random.normal(3, 1, 100)
y = numpy.random.normal(150, 40, 100) / x
test_x = x[80:]
test_y = y[80:]

plt.scatter(test_x, test_y)
plt.show()
    输出如下：：
    测试集也看起来像原始数据集： 
    ml

  • 拟合数据集

    数据集是什么样的？我认为最合适的方法是多项式回归，所以让我们画一条多项式回归线。要通过数据点画一条线，我们使用matplotlib模块的plot()方法：
    通过数据点绘制多项式回归线： 
    import numpy
import matplotlib.pyplot as plt
numpy.random.seed(2)

x = numpy.random.normal(3, 1, 100)
y = numpy.random.normal(150, 40, 100) / x

train_x = x[:80]
train_y = y[:80]

test_x = x[80:]
test_y = y[80:]

mymodel = numpy.poly1d(numpy.polyfit(train_x, train_y, 4))

myline = numpy.linspace(0, 6, 100)

plt.scatter(train_x, train_y)
plt.plot(myline, mymodel(myline))
plt.show()
    输出如下：：
    测试集也看起来像原始数据集： 
    ml
    该结果可以支持我的建议，即数据集适合多项式回归，即使如果我们尝试预测数据集之外的值也会给我们带来一些奇怪的结果。示例：该行表明某位顾客在商店购物6分钟，将获得一笔价值200的购物。这可能是过度拟合的迹象。但是R平方分数呢？R平方得分很好地指示了我的数据集对模型的拟合程度。

  • R2

    还记得R2，也称为R平方吗？它测量x轴和y轴之间的关系，取值范围为0到1，其中0表示没有关系，而1表示完全相关。sklearn模块有一个称为rs_score()的方法 ，它将帮助我们找到这种关系。在这种情况下，我们要衡量客户在商店停留的时间与他们花费多少钱之间的关系。
    我的训练数据在多项式回归中的拟合程度如何？ 
    import numpy
from sklearn.metrics import r2_score
numpy.random.seed(2)

x = numpy.random.normal(3, 1, 100)
y = numpy.random.normal(150, 40, 100) / x

train_x = x[:80]
train_y = y[:80]

test_x = x[80:]
test_y = y[80:]

mymodel = numpy.poly1d(numpy.polyfit(train_x, train_y, 4))

r2 = r2_score(train_y, mymodel(train_x))

print(r2)
    输出如下：： 
    ml
    注意： 结果0.799显示存在不错的关系。
    我们再来看看测试的的R2
    我的训练数据在多项式回归中的拟合程度如何？ 
    import numpy
from sklearn.metrics import r2_score
numpy.random.seed(2)

x = numpy.random.normal(3, 1, 100)
y = numpy.random.normal(150, 40, 100) / x

train_x = x[:80]
train_y = y[:80]

test_x = x[80:]
test_y = y[80:]

mymodel = numpy.poly1d(numpy.polyfit(train_x, train_y, 4))

r2 = r2_score(test_y, mymodel(test_x))

print(r2)
    输出如下：： 
    ml
    注意： 结果0.809表明该模型也适合测试集，我们相信我们可以使用该模型预测未来价值。

  • 预测值

    现在我们已经确定我们的模型是可以的，我们可以开始预测新值了。
    如果购买客户在商店中停留5分钟，他/她将花费多少钱？ 
    import numpy
from sklearn.metrics import r2_score
numpy.random.seed(2)

x = numpy.random.normal(3, 1, 100)
y = numpy.random.normal(150, 40, 100) / x

train_x = x[:80]
train_y = y[:80]

test_x = x[80:]
test_y = y[80:]

mymodel = numpy.poly1d(numpy.polyfit(train_x, train_y, 4))
print(mymodel(5))
    输出如下：：
    该示例预测客户花费了22.88美元，似乎与图表相对应： 
    ml
    ml
上一节:
下一节: