在 构建BI：大数据系统概念 一文中，我们提到过 OLAP 系统的特点： OLAP 强调 SQL 执行时长，强调磁盘 IO、磁盘分区和磁盘子系统吞吐量。OLAP 同时处理的数据量大，DML 少，更多的执行是报表作业和聚合类操作。 这些特点让 OLAP 对于存储和查询的要求都很高。业界也有大量成熟的技术解决方案来处理这两类问题。 本文从个人喜好的角度来简单讨论查询引擎 Presto 和数据仓库 ClickHouse。 注意：本篇为技术讨论，对技术不感兴趣的读者可以跳过不看。 我正在构建一个用于游戏运营的 BI(Busniness Intelligence)系统，该系统用于指导 SAGI GAMES 游戏的投放，把运营和投放岗位从重复繁 …

阅读更多

我正在构建一个用于游戏运营的 BI(Busniness Intelligence)系统，该系统用于指导 SAGI GAMES 游戏的投放，把运营和投放岗位从重复繁重的数据分析工作中解放出来。 我会用文字把整个构建中的学习、思考、决策的流程记录下来，形成这个系列： 构建BI。 由于时间仓促，能力有限，这个系列中一定有许多疏漏错误之处，欢迎指出和讨论。 本文的目标是理解大数据系统的相关概念。 生产-存储-消费 计算广告是唯一得到充分商业化的规模化的大数据应用。BI(Business Intelligence)系统属于一种大数据洞察应用。它处在 生产、存储、消费 流程中的消费环节。 参见：计算广告：免费模式的本质 图中，数据源 处于生产环 …

阅读更多

从 WizNote 为知笔记到 Joplin（上） 一文中讲到了我为什么要从为知笔记转到 Joplin。本文讲一讲其中的技术细节。 wiz2joplin 项目是开源的，我在源码中写的注释也很详细，所以本文就不列举所有实现，而是主要讲一下设计思路和需要关注的问题。文中标注了报名和函数名称，方便大家在 wiz2joplin 项目中寻找对应源码查看。 要理解下面讲述的细节，请先阅读：WizNote 为知笔记 macOS 版本本地文件夹分析 。 读取为知笔记 从为知笔记本地数据库中读取为知笔记。 读取为知笔记的目录信息，在为知笔记中称为 location。 读取为知笔记的 TAG 信息。 解压缩为知笔记每个文档的压缩包到临时文件夹： …

阅读更多

我在 配置 Joplin Server 一文中谈到了如何配置 Joplin Server 以实现 Jopin 笔记同步。对于普通使用者来说，这显然是相当麻烦了，恐怕只有程序员愿意去折腾一下。 根据该文评论中的提示，我找到了使用腾讯云对象存储(COS)实现同步的方法。配置更少，而且免费。 腾讯云 COS 官方介绍： 对象存储（Cloud Object Storage，COS）是由腾讯云推出的无目录层次结构、无数据格式限制，可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限，无需分区管理，适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。COS 提供网页 …

阅读更多

在 从 WizNote 为知笔记到 Joplin（上） 一文中，我介绍了把自己积累十年的笔记从 WizNote 搬家到 Joplin 的心路历程。 Joplin 是一个开源的笔记工具，拥有 Windows/macOS/Linux/iOS/Android/Terminal 版本的客户端，关于它的优势可以看 这里。 我们知道，多端同步功能是笔记工具最重要的功能。只有实现了多端同步，我们才能在工作电脑和手机之间无缝切换笔记体验。Joplin 在同步上做得不错，支持 Dropbox、OneDrive 和 AWS s3（当然国内都没法用），支持 WebDAV 协议，也支持自家的 Joplin Server。 本文介绍如何在自己的服务器上搭建 …

阅读更多

我是 为知笔记 WizNote 的忠实+重度用户。使用 WizNote 接近 10 年，笔记 3000 多篇。日常工作和个人记事，读书笔记和备忘均在为知笔记上，每天都要使用它。 在 2021 牛年春节假期中，我下定决心转向 Joplin 了。我花了几天时间开发了一个工具 wiz2joplin，目前已经成功将我的所有笔记完美转换到 Joplin 。 这是一个怎样的故事？十年使用，有什么样的爱恨情仇？请读下去。 我的知识管理工具尝试 myBase -> CyberArticle -> WizNote 我最早购买的知识管理工具是 myBase ，目前软件还在更新，而且出了 macOS 和 Linux 版本。 由于 myBase 对于网页抓 …

阅读更多

本文分析为知笔记 WizNote for Mac 2.8.7(2020.8.20 10:28) 本地文件夹结构以及数据库结构。 分析这些信息，目的是为了从为知笔记转向其他的笔记系统。我写了一个 WizNote 向 Joplin 转换的工具，详见： WizNote to Joplin 。 文件夹结构 ~/.wiznote/ 我使用的Wiznote 版本不是在 AppStore 下载的，因此软件文件夹位于 ~/.wiznote/。 ~/.wiznote/wiznote.ini 为知笔记的配置文件，其中包含用户 GID 等信息。 ~/.wiznote/cache/ avatar/ 不重要，略过 editor/ 不重要，略过 …

阅读更多

因为在 SAGI 读书会 上给自己挖了个大坑，给公司同事设计了一套 Python 课程，所以要准备一下授课环境了。 目前最好的授课环境当然是 Jupyter，下面讲讲它的配置。 我一直是一个 选择综合症+洁癖患者，尽管我已经不断强迫自己降低要求了。这次的目标是这样的： 最小化。 不影响当前的系统环境。 依赖 操作系统 macOS Big Sur 11.1 conda 4.9.2 （Miniconda） JupyterLab 3.0.0 JupyterLab 包含 Jupyter+notebook+iPython ，是 Jupyter 项目的下一代用户界面。界面上更友好。网上大量的中文资料都是介绍 Jupyter + notebook …

阅读更多

前几天有位同事问我，学习 Vue 应该看哪些书。作为一个从 2000 年开始就用记事本手写 CSS 的野生程序员，我的确是存了不少关于 Web 前端的书籍，但对于团队成长来说，总是发书似乎解决不了未来的问题。所以我觉得有必要写一篇 授人以渔 的文章，把我自己快速掌握一门新技术的方法说道说道。

1. 定义技术 首先来定义一下 技术 的概念。技术是 知识 的一种，如果按照弗里茨-马克卢普的分类法，技术应该属于 实用知识。如果按照 Towers 的分类法，技术应该属于 实践性知识。如果按照波兰尼的分类法，技术应该属于 关于技能和诀窍方面的知识。 弗里茨-马克卢普根据知识的实用价值把知识分为五类:实用知识、学术知识、闲谈与消遣知识、精神知识 …

阅读更多