BOY1024

2017-3-3阅读(2719)评论(0)

经历了一些不同阶段的大数据项目之后，我意识到，在“数据科学家”这个角色没定义好之前，“数据化”会遇到很多挑战。这个角色的定义相当模糊，造成很多混淆--很像对“数字化”本身的混淆。 我翻阅了一下招聘网站上数据科学家的职责，有的专门通过统计和机器学习来建立预测模型，有的定义则更加宽泛。那么到底“数据科学家”具备什么样的技能，能做哪些事？很多希望...

2017-2-23阅读(1767)评论(0)

1.技术产品及应用产品体系架构图 2.成熟的高性能Web应用解决方案 3.成熟的分布式解决方案 4.成熟的海量数据处理方案 5.成熟的海量数据缓存方案 ...

2017-2-23阅读(1959)评论(0)

高清已经在安防行业全面铺开应用。除了带给用户能够看得更清的良好视觉感受外，对存储容量的需求亦成几何式增长。对当前整个安防市场来讲，特别是大公安、大交通、楼宇、司法监所、金融、文教卫、能源项目等行业迅猛发展，甲方客户的需求及大集成商的存储解决方案越来越倾向集中化。需要保存的数据也成线性增长，应对如此巨大的数据量,数据存储及客户数据快速有效查询就变得至关重...

2017-2-21阅读(2002)评论(0)

前言 一个成熟的大型网站（如淘宝、京东等）的系统架构并不是开始设计就具备完整的高性能、高可用、安全等特性，它总是随着用户量的增加，业务功能的扩展逐渐演变完善的，在这个过程中，开发模式、技术架构、设计思想也发生了很大的变化，就连技术人员也从几个人发展到一个部门甚至一条产品线。所以成熟的系统架构是随业务扩展而完善出来的，并不是一蹴而就；不同业务...

2017-2-20阅读(2843)评论(0)

这几天一直在关注和学习一些大型网站的架构，希望有一天自己也能设计一个高并发、高容错的系统并能应用在实践上。今天在网上找架构相关的资料时，看到一个被和谐的视频网站YouTube的架构分析，看了以后觉得自己又向架构走近了一步，于是赶快拿出来与大家一起分享。  YouTube发展迅速，每天超过1亿的视频点击量，但只有很少人在维护站点和确保伸缩性。这...

2017-2-16阅读(1869)评论(0)

随着网站的功能和用户越来越多，单机器服务部署的Web应用已经不能再支持了。这时候就需要优化或调整目前的架构，具体怎么优化，或先优化哪部分，这取决于网站的具体情况， 并非总是一个套路。 如根据使用情况得知，数据库压力大，则就可以先设施读写分离，分库分表，是垂直划分(可以简单的理解为按业务功能划分)， 还是水平划分(如用户表数据量很多，就可以按...

2017-2-15阅读(2036)评论(0)

抢红包的需求分析 抢红包的场景有点像秒杀，但是要比秒杀简单点。 因为秒杀通常要和库存相关。而抢红包则可以允许有些红包没有被抢到，因为发红包的人不会有损失，没抢完的钱再退回给发红包的人即可。 另外像小米这样的抢购也要比淘宝的要简单，也是因为像小米这样是一个公司的，如果有少量没有抢到，则下次再抢，人工修复下数据是...

2017-2-15阅读(2106)评论(0)

Load Balance负载均衡是用于解决一台机器(一个进程)无法解决所有请求而产生的一种算法。 像nginx可以使用负载均衡分配流量，ribbon为客户端提供负载均衡，dubbo服务调用里的负载均衡等等，很多地方都使用到了负载均衡。 使用负载均衡带来的好处很明显： 当集群里的1台或者多台服务器down的时候，剩余的没有down的服务...

2017-2-14阅读(48243)评论(30643)

今天看了下《Linux大棚命令百篇》网络和系统篇，发现了几个很不错的命令，我是看着目录然后根据自己的需要选了3个命令，没想到3个命令都让人眼前一亮，刷新了我原本的认知。 首先第一个命令还是老生常谈的ping 传统的ping就是下面的样子，这个也是我们熟悉的ping # ping 10.127.133.96 PING 10.127.133.96 (10...

2017-2-13阅读(2132)评论(0)

《kafka中文手册》- 构架设计 4. DESIGN 设计 4.1 Motivation 目的 4.2 Persistence 存储 Do...