VNPY平台对接IB盈透证券
上篇讲了一下VNPY这个开源平台的基本使用，这篇讲讲怎么用VNPY对接IB以及一些遇到的问题。 VNPY平台对接IB盈透证券参考官方教程。 安装必要插件IB Trader Workstation因为要开启API功能，所以要先下载盈透证券的Trader Workstation，安装，网上教程很多，查一查打开api功能即可。 这里简单说一下，只有PRO账户能开启API。 打开station后，看到右上角齿轮，看到，勾选Enable ActiveX and Socket Clients，如图： ibapi在python里，不是简单的pip install ibapi就行了，仔细阅读并参考vnpy提供的文档。 连接VNPY在VNPY启动界面，在交易接口处勾选盈透证券，启动。看到弹出界面工具栏的连接里，选择连接IB。填入之前的端口即可，其他不变，点击链接。 连接过后就成功通过API连接到刚才登陆在trader...
VNPY平台入门
纳指期货涨的太狠了，老板交给我一个任务，看看能不能实现程序化交易。我想这操蛋啊，当年玩比特币俩月亏了一半，最后勉强回本就不玩了。结果刚不玩就一波大涨突破十万了。。。只能说哥们没这个命。但老板的任务得琢磨琢磨啊，经过一番学习，量化水真深。一开始还想着自己写个平台，发现毛都不懂，好不容易整出来的东西还死慢，不如直接用大佬的东西，发现了VNPY，开源万岁。 VNPY简单入门安装Windows直接去官网安装社区版就好了，甚至省去了git clone的功夫，现在直接可以安装可视化界面了，傻瓜式部署。 数据导入根据文档，通常可以直接下载数据，但是一些海外市场的数据可能没有，或者有自己导入数据的需求，可以直接准备数据导入即可。 这里勾选应用模块下的DataManager，点击启动。 事实上，可以一次全部启动所需要的模块，这里为了演示，每次只启动一个。 在弹出窗后的工具栏选择 功能 ->...
Docker相关使用及配置
快来试试一键式傻瓜分发，做一个docker领域大神吧！在软件开发的过程中，但凡遇到了CI/CD的概念，就离不开Docker。 Docker基本概念1. Docker 简介Docker 是一种开源的容器化技术，可以将应用程序及其所有依赖打包成一个可移植的容器。通过 Docker，可以确保应用在不同环境（开发、测试、生产）中运行一致性，解决“在我电脑上可以运行”的问题。 2. Docker 的基本概念 镜像（Image）： 类似于应用程序的模板，包含了运行应用所需的所有环境（如操作系统、运行时、库、应用程序代码等）。 镜像是不可变的，类似于虚拟机的快照。 容器（Container）： 基于镜像创建的实例化运行环境。每个容器是一个独立的沙盒，包含应用和所有依赖。 容器是轻量级的，启动速度快，占用资源少。 Dockerfile： 一种脚本文件，用于定义如何构建镜像（包含操作系统、依赖安装、程序代码等）。 类似于虚拟机的配置文件。 Docker Hub： 一个公共的镜像存储库，类似于代码托管平台（如 GitHub）。可以从 Docker Hub...
常用指令
一开始学习计算机时我是拒绝使用linux和Git的，但习惯之后直呼真香。 以此来记录常用的命令，不然每次都要查或者问GPT老师。 Linux常用命令系统信息uname -a # 显示系统信息 hostname # 显示或设置主机名 whoami # 当前登录用户 uptime # 系统运行时间和负载 date # 当前日期和时间 cal # 显示日历 df -h # 查看磁盘使用情况 du -h # 查看目录或文件大小 free -m # 查看内存使用情况 top # 动态显示进程信息 htop # 类似 top，需安装 ps -aux # 列出所有运行进程 文件和目录操作ls ...
白嫖AWS EC2及使用Dify 0.12.1的心得（以及一点小小的宣传）
大模型太好玩了，gpt，gpt，没了你我可怎么活啊。 Dify官网本地部署教程已经很详细了，B站或者Youtube也有教程，所以就不再说了。使用源码部署的话（这篇文章主要用的方法），在clone过后，关键就是跟着dify/api文件夹和dify/web文件夹下README.md的步骤一步一步来就好了。这篇文章主要就讲一下在AWS上部署的一些流程和自己踩得一些坑。 用到的工具： AWS EC2 (LightSail更简单，但只能免费三个月，而最基础的EC2能免费试用12个月) Git Python 3.11 (Dify 0.12.0版本后仅支持3.11＋的Python) 1. AWS启动EC2示例，通过VScode连接 注册完AWS后，左上角搜索框搜索EC2，第一个就是，点击。随后在界面找到Launch Instance新建一个实例。 在新建实例界面，跟随图片这里，这里选取ubuntu系统，以及标记为Free Tier...
从Devops到MLOps再到LLMOps
由ChatGPT翻译自原网址 从 CI/CD 开始网上有很多关于 CI/CD（持续集成/持续交付）的定义，但其实所有和 XXXOps 相关的东西，都是基于 CI/CD 的。 在我的理解中，CI/CD 是一种开发和运维的实践，通过自动化构建、测试和部署流程，提升软件交付的效率和质量。 举个例子，想象你平时是怎么用 GitHub 和 Docker 的。当你把代码提交到远程仓库，代码会被自动编译、构建并测试，这些过程就属于 CI。而当你把代码部署到测试环境，最后上线到生产环境，这些步骤就属于 CD。 换句话说： CI（持续集成）： 专注于代码的构建和测试，确保代码改动能够可靠地集成。 CD（持续交付）： 专注于部署，确保代码能顺利从测试环境交付到生产环境。 由此可以看出，DevOps（开发和运维）本质上就是 CI/CD 流程的具体实现，让软件工程师的工作更简单高效。 MLOps：比 DevOps 更进一步MLOps 包含了 DevOps...
LoRA微调Twitter-roBERTa-base for Sentiment Analysis
这两天在准备一些简历和面试的东西，终于也是要迈出求职的这一步了。美国我是打算放弃了，主要感觉还是经历太少了，简历就看着没人家炫酷。也罢，回国吃烧烤也很香。 前两天面试了百度的NLP算法实习生，感觉是寄了，因为是个日常实习，也没办法中途回国。不过面试的时候提到了上学期做的一个小项目，就是用Hugging Face上的模型做情感分析，也谈到了微调。 0. 前戏：LoRALoRA, 全名Low-Rank Adaptation of Large Language Models，在2021的某个夏天，在一伙微（巨）软（硬）的研究员疯狂玩弄线性代数后，LoRA横空出世。 死去的线代知识准备发起攻击了！ Rank这个概念在我们小学二年级的时候就学过，指的是矩阵的秩，行向量或列向量中最大线性无关组的向量数量。可以理解为矩阵里真正包含信息的行数。 例如： \begin{pmatrix} 1 & 0 & 1 \\ 0 & 1 & 1 \\ 0 & 2 & 2 \\ \end{pmatrix}...
新时代八股
仅用来记录一些面经。 中心极限定理（Central Limit Theorem,...
超参数优化
调参在训练模型的过程中，为了达到更好的结果，免不了要优化超参数，又称调参。虽然感觉提升并不显著，但提高一点算一点嘛。 在Amazon介绍的超参数调优的介绍中，在传统的机器学习中一般有三种调优方式（其实就两种，网格搜索和随机搜索没什么区别）： 网格搜索(Grid search) 随机搜索(Random search) 贝叶斯优化(Bayesian optimization): 为了演示，这里使用Random Forest Classifier。 0. 数据随机在kaggle上找了个Dry Bean数据集， 我也没仔细看具体是什么，大概就是不同豆子的种类吧，应该和iris差不多。 import numpy as np import pandas as pd from sklearn.metrics import confusion_matrix, classification_report, accuracy_score from sklearn.model_selection import train_test_split from sklearn.ensemble...
简单NLP — 情感分析
前几天面试的时候，面试官突然问我“为什么想选择数据科学相关的专业？” 一时语塞，说我纯粹的热爱吧好像又有些虚伪，无非就是为了混口饭吃，哪有什么宏大叙事和美好愿景。 但是，我这样回答面试官的：我说也许在我们不知道的情况下，一些简单的数据分析能给我们带来很多信息，这些信息可以是商业上的，也可以是社会上的，甚至可以是个人的。因为我有每天记日记的习惯（虽然大部分是在写废话。。。），然后前几天刚好用Hugging Face上开源的模型简单跑了一遍对每天日记的情感分析。我回答面试官，大概，数据分析也能让我更好的认识自己吧。 所以开一个“简单”系列，就是无脑调包就好了，没什么技术含量。 0， 我的日记 这是我记日记的习惯，写一些话，然后没有标点符号（亏贼这太变态了），靠换行来断句。在python里，数据大概长这样： 我要的其实就是diary_item_content里的内容，一顿操作后提取内容，在简单做点预处理准备分析。（此处无码，因为每个人写日记的习惯都不一样罢。） 1， 直接调用在线模型1.1 Hugging Face在Hugging...
Hexo基础进阶设置，2024版
在上篇我们搭建了一个很基础的网站，这次来看看我个人有哪些在2024年要做的配置吧。 事实上，在原文档，以及博主lijunliang的文章里已经有了非常详细的说明，想必也比我这个门外汉再写一份来的更清晰易懂。 但是这些文章也许有些年头了，有些地方在2024年可能需要额外的配置，这篇文章会简单介绍我做的改动。 1，代码块highlight在原文说明highlight代码块的地方，原文如下 Starting from Hexo 5.0.0 version, it comes with support for prismjs code syntax highlighting, and hexo-theme-matery has been modified to support it. If the plugin of hexo-prism-plugin has been installed in your blog, then you need to execute npm uninstall hexo-prism-plugin to uninstall it, otherwise...
Hexo + Github个人网页制作
作为第一篇文章，就讲讲这个网站是怎么做的吧。 很早就有想做一个个人网站了，但是无奈不会的太多也就打消了这个念头。不然还得从头学一些奇奇怪怪的JavaScript和CSS相关的东西，这对我来说可就太折磨了。但是，昨天聊天时朋友提了一嘴：“你们没有个人作品集之类的东西吗？”， 我说还真没有，但是又突然想到了个人网站这种东西。想起本科时那些教授都有自己的网站，我就又去搜索了一下类似于“个人网站制作”的内容。 没想到居然有现成的库可以直接用，那就是Hexo了，甚至还配有各种主题（theme）。时过境迁，现在一切都变得那么容易，都可以一键生成。 跟我说，谢谢你，开源侠。 第一步：配置Github使用Github的原因很简单，对于个人用户它提供一个免费的user page，完全可以当个人网页用。 注册Github此步略过 本地生成id_rsa和id_rsa.pub打开一个CMD终端（或者windows下推荐使用Powershell），依次输入 git config --global user.name "Github用户名" git config --global...