datetime与系统时间不一致

在程序中使用datetime遇到的一个小问题，程序中datetime.today()出来的时间和shell中date不一致。程序中采用的UTC的时间，但是机器是Asia/Shanghai的。

为什么暂时不明白，多个人使用的服务器上暂时想不出为什么

解决思路：

  1. 利用datetime模块里面的timezone进行改变
1
2
3
4
5
from datetime import datetime, timezone, timedelta
tz_delta = timedelta(hours=8)
tz = timezone(tz_delta)
today = datetime.now(tz).date()
  1. 在脚本中直接加入环境变量TZ
1
2
import os
os.environ['TZ'] = 'Asia/Shanghai'

展开全文 >>

Minianaconda安装使用笔记

Minianaconda就不多介绍，应该是我碰到最好的集成使用python的一个工具了，好处谁用谁知道。
啰嗦一句就是最好的跨平台包管理工具

  1. 安装

到清华镜像站下载最新安装程序

1
2
3
4
5
6
7
8
9
# 下载
wget -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda-latest-Linux-x86_64.sh
# 安装按步骤安装就行
sh Miniconda-latest-Linux-x86_64.sh
# 切换清华镜像源
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --set show_channel_urls yes
  1. 使用

可能minianconda安装的python版本不符合你的胃口，换环境换版本

1
2
3
4
5
6
7
8
# 创建一个python3.6的python环境并且安装anaconda相关的包
conda create -n py36 python=3.6 anaconda
# 激活
source activate py36
# 退出
source deactivate
# 设置默认的环境
conda config --set core.default_env=py36
  1. 创建虚拟环境

虚拟环境跟切换python版本环境一样

1
2
3
4
5
6
7
8
9
10
11
12
13
# 新建一个env_name，用Python3.6并安装numpy pandas等包
conda create -n env_name python=3.6 numpy pandas
# 如果不安装任何包
conda create --no-default-packages -n env_name python
# 环境切换备份
## backup
conda list --explicit > my_env_file.txt
## restore whole environment
conda create --name myenv --file my_env_file.txt
## only install all the listed packages
conda install --name myenv --file my_env_file.txt
  1. 删除虚拟环境
1
2
3
4
# 删除
conda remove --name myenv --all
# 检查
conda info --envs
  1. 记一个从YML文件安装相关包的方法
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
conda env create -f env.yml
# env.yml内容
"""
name: fast.ai
dependencies:
  - python=3.6
  - numpy
  - pandas
  - jupyter
  - matplotlib
  - pillow
  - keras==1.2.2
  - theano
  - tensorflow
  - pandas==0.19
  - scikit-learn
  - bcolz
  - sympy
"""

更多的请参考官方文档, 以及cheetsheet

展开全文 >>

时间序列模型0-简单指数平滑

滑动平均

Naive的方式对未来的预测，就是取最近一段时间的数据值作为未来的预测值, 这个值就相当于预测点的水平。
用数学的表示方式为：

1
y_prediction for t+1 = average([y_t for t in range(0, T, -1)])

简单指数平滑(simple exponential smoothing, SES)

SES是一种最简单的预测未来值的方式，它适合用来预测没有趋势以及季节性的数据。它其实就是一种加权的移动平均方式，对每个之前的时间点数据赋予一个指数权重a * (1 - a)^t for t = 0, 1, ...，一般来说越近的时间点数据, 权重就更大一些。如果预测t+n，让其t+n都等于t+1的值就好了。

平滑过程：yhat(t+1) = a * y(t) + (1 - a) * yhat(t)
误差：err = yhat(t+1) - y(t+1)
初始化: 一般取一个值，或者所选序列的均值作为初始预测值
优化目标：sse = sum(err(t)**2) for t in 1->T

以R代码做演示

1
2
3
4
5
6
7
# 加载所需包
require('forecast')
require('fpp')
# 取一段时间序列
oil_sub = window(oil, start=1996, end=2007)
plot(oil_sub, ylab='Oil (millions of tonnes)', xlab='year')

01.png

1
2
3
4
5
6
7
8
9
10
# 利用SES进行平滑预测
fit1 = ses(oil_sub, alpha=.3, initial="simple", h=3)
# 参数有程序自己计算
fit2 = ses(oil_sub, h=3)
# 比较两个模型RMSE
cat("Alpha: ", fit1$model$par['alpha'], " Model rmse: ", sqrt(fit1$model$SSE / length(fit1$x)), "\n")
## >> Alpha:  0.3  Model rmse:  29.65598
cat("Alpha: ", fit2$model$par['alpha'], " Model rmse: ", sqrt(fit2$model$mse), "\n")
## >> Alpha:  0.8920538  Model rmse:  25.12207
1
2
3
4
# 画图查看
par(mfrow=c(2, 1))
plot(fit1, ylab='Oil (millions of tonnes)', xlab='year', main='', fcol='white', type='o')
plot(fit2, ylab='Oil (millions of tonnes)', xlab='year', main='', fcol='white', type='o')

02.png

1
2
3
4
5
6
7
# 查看拟合的图像
plot(fit1, ylab='Oil (millions of tonnes)', xlab='year', main='', fcol='white', type='o', PI=F)
lines(fitted(fit1), col="blue", type="o")      # fit1拟合数据
lines(fitted(fit2), col="purple", type="o")    # fit2拟合数据
lines(fit1$mean, col="blue", type="o")         # fit1预测数据
lines(fit2$mean, col="purple", type="o")       # fit2预测数据
legend('topleft', lty=1, col=c(1, 'blue', 'purple'), c('data', expression(alpha==0.2), expression(alpha==0.89)), pch=1)

03.png

展开全文 >>

Hexo博客搭建过程

具体过程

  1. 安装npm: yum install npm
  2. 安装hexo: npm install hexo-cli -g
  3. 初始博客目录：hexo init blog && cd blog
  4. 按照主题开发安装并更换主题：git clone https://github.com/litten/hexo-theme-yilia.git themes/yilia并更改_config.yml中theme: yilia
  5. 创建博文: hexo new 'Hexo博客搭建过程'
  6. 在github上创建仓库${name}.github.com并在_config.yml中deploy更改。 deploy: \n type: git \n repo: <git地址> \n branch: master
  7. 解决不能提交到github上问题. npm install hexo-deployer-git --save
  8. 写好博文
  9. 清理本地数据库。hexo clean
  10. 生成静态页面, hexo generate
  11. 部署到github上. hexo deploy
  12. 本地调试启动服务器. hexo server
  13. 修改配置文件
  14. 将仓库地址设置到blog目录并切换到dev分支，保存到远端仓库

参考

  1. 主题litten
  2. Hexo项目

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

很惭愧<br><br>只做了一点微小的工作<br>谢谢大家