Difference between revisions of "数据交易"

From GoToken's Wiki!
Jump to navigation Jump to search
(4 intermediate revisions by the same user not shown)
Line 1: Line 1:
 +
==隐私==
 +
#定义:对于隐私这个词,科学研究上普遍接受的定义是“单个用户的某一些属性”,只要符合这一定义都可以被看做是隐私。我们在提“隐私”的时候,更加强调的是“单个用户”。那么,一群用户的某一些属性,可以认为不是隐私。从隐私保护的角度来说,隐私是针对单个用户的概念,公开群体用户的信息不算是隐私泄漏,但是如果能从数据中能准确推测出个体的信息,那么就算是隐私泄漏。
 +
==数据公开的场景==
 +
#公司为了学术研究和数据交流开放用户数据,学术机构或者个人可以向数据库发起查询请求,公司返回对应的数据时需要保证用户的隐私。
 +
#公司作为服务提供商,为了提高服务质量,主动收集用户的数据,这些在客户端上收集的数据也需要保证隐私性。
 +
 +
==隐私保护的方案==
 +
学术界提出了多种保护隐私的方法和测量隐私是否泄露的工具
 +
#k-anonymity(k-匿名化)
 +
#l-diversity(l-多样化)
 +
#t-closeness
 +
#ε-differentialprivacy(差分隐私)
 +
#同态加密(homomorphic encryption)
 +
#零知识证明(zero-knowledge proof)
 +
 
== 数据交易市场的规模 ==
 
== 数据交易市场的规模 ==
 +
== 基于数据产生的经济收益==
 +
=== 互联网公司的广告收入规模===
 +
#腾讯:二零一八年,我們的網絡廣告業務錄得人民幣581億元的收入,同比增長44%;第四季的收入為人民幣170億元,同比增長38%。在微信朋友圈、小程序、QQ看點及移動廣告聯盟的推動下,社交及其他廣告收入全年同比增長55%至人民幣398億元,第四季則同比增長44%至人民幣118億元。在推出第二個每日廣告位後,我們收到廣告主積極反饋,而整體廣告填充率仍高,約50%的朋友圈日常活躍用戶會看到第二個廣告位,朋友圈廣告點擊率保持在健康水平。媒體廣告收入全年增長23%至人民幣183億元,第四季增長26%至人民幣52億元。其中,二零一八年視頻廣告收入同比增長34%,第四季同比增長21%,這是由於我們自製的綜藝節目大受歡迎,以致視頻播放量及廣告贊助增加所致。我們的新聞廣告業務在系統升級後恢復增長,收入在下半年重拾同比增長。媒體信息流廣告收入同比增長逾10倍
 +
 +
===金融风控===
 +
===医药保险===
 +
===房地产===
 +
===其他===
 +
 
== 数据市场存在的问题 ==
 
== 数据市场存在的问题 ==
 +
== 当前普遍使用的隐私保护方案==
 
== 数据的来源 ==
 
== 数据的来源 ==
 
== 需要”可信“交互才能进行的数据交易市场的规模==
 
== 需要”可信“交互才能进行的数据交易市场的规模==
 
== 多方数据交易的场景==
 
== 多方数据交易的场景==
  
 +
 +
 +
 +
 +
== 行业规模 ==
 
2017年我国大数据市场产值为4700亿元人民币,同比增长31.9%
 
2017年我国大数据市场产值为4700亿元人民币,同比增长31.9%
  
Line 136: Line 166:
 
#https://mp.weixin.qq.com/s?src=11&timestamp=1584267616&ver=2218&signature=gGwwgeKGvyTUh2XTqFhfKcQXKJYByNwZ7b3TI3Fv4VFeKj88i*Hxu4uPehyxHrxxOhWiC-RYchYUrWiyv1JjQ2LvhL9RZaVoA575gZiBga71dkAu6osj7VCt8HhVLQCx&new=1
 
#https://mp.weixin.qq.com/s?src=11&timestamp=1584267616&ver=2218&signature=gGwwgeKGvyTUh2XTqFhfKcQXKJYByNwZ7b3TI3Fv4VFeKj88i*Hxu4uPehyxHrxxOhWiC-RYchYUrWiyv1JjQ2LvhL9RZaVoA575gZiBga71dkAu6osj7VCt8HhVLQCx&new=1
 
#http://www.gbdex.com/website/resources/download/2016.pdf
 
#http://www.gbdex.com/website/resources/download/2016.pdf
 +
#https://mp.weixin.qq.com/s/VSbkAzho0-2J0pIiKMkOIg
 +
#https://m.huxiu.com/article/254275.html?f=pc_new_share_article_wechat
 +
#https://www.adquan.com/post-2-228687.html

Revision as of 09:01, 22 March 2020

隐私

  1. 定义:对于隐私这个词,科学研究上普遍接受的定义是“单个用户的某一些属性”,只要符合这一定义都可以被看做是隐私。我们在提“隐私”的时候,更加强调的是“单个用户”。那么,一群用户的某一些属性,可以认为不是隐私。从隐私保护的角度来说,隐私是针对单个用户的概念,公开群体用户的信息不算是隐私泄漏,但是如果能从数据中能准确推测出个体的信息,那么就算是隐私泄漏。

数据公开的场景

  1. 公司为了学术研究和数据交流开放用户数据,学术机构或者个人可以向数据库发起查询请求,公司返回对应的数据时需要保证用户的隐私。
  2. 公司作为服务提供商,为了提高服务质量,主动收集用户的数据,这些在客户端上收集的数据也需要保证隐私性。

隐私保护的方案

学术界提出了多种保护隐私的方法和测量隐私是否泄露的工具

  1. k-anonymity(k-匿名化)
  2. l-diversity(l-多样化)
  3. t-closeness
  4. ε-differentialprivacy(差分隐私)
  5. 同态加密(homomorphic encryption)
  6. 零知识证明(zero-knowledge proof)

数据交易市场的规模

基于数据产生的经济收益

互联网公司的广告收入规模

  1. 腾讯:二零一八年,我們的網絡廣告業務錄得人民幣581億元的收入,同比增長44%;第四季的收入為人民幣170億元,同比增長38%。在微信朋友圈、小程序、QQ看點及移動廣告聯盟的推動下,社交及其他廣告收入全年同比增長55%至人民幣398億元,第四季則同比增長44%至人民幣118億元。在推出第二個每日廣告位後,我們收到廣告主積極反饋,而整體廣告填充率仍高,約50%的朋友圈日常活躍用戶會看到第二個廣告位,朋友圈廣告點擊率保持在健康水平。媒體廣告收入全年增長23%至人民幣183億元,第四季增長26%至人民幣52億元。其中,二零一八年視頻廣告收入同比增長34%,第四季同比增長21%,這是由於我們自製的綜藝節目大受歡迎,以致視頻播放量及廣告贊助增加所致。我們的新聞廣告業務在系統升級後恢復增長,收入在下半年重拾同比增長。媒體信息流廣告收入同比增長逾10倍

金融风控

医药保险

房地产

其他

数据市场存在的问题

当前普遍使用的隐私保护方案

数据的来源

需要”可信“交互才能进行的数据交易市场的规模

多方数据交易的场景

行业规模

2017年我国大数据市场产值为4700亿元人民币,同比增长31.9%

国内大数据产业园是集聚大数据产业资源的重要载体。当前,不仅八个国家级大数据综合试验区(贵州、京津冀、辽宁、内蒙古、上海、河南、重庆、珠三角)的大数据产业园/基地快速发展,与这些试验区毗邻的省份,如安徽、湖北、四川、陕西、浙江、山东和江苏,也都加快推进“大数据产业园区/基地”建设,增强数字经济发展实力,加速产业转型升级。

贵阳大数据交易所数据显示,2015 年全球大数据产业规模达到了 1403 亿美元,预计到2020 年,这一数据将达到 10270 亿美元。

从贵阳大数据交易所统计的指标分析来看,目前全球大数据发展主要还是以美国、欧洲、亚洲这几个区域为主。预计到 2020 年,全球大数据产业发展美国仍将排名靠前,将占到37.22%,中国紧随其后,占比为 20.30%。

事实上,英国政府近年来通过大数据技术在公开平台上发布了各层级数据资源,并通过高效率地使用这些数据提高政府部门的工作效率,刺激其他机构在数据获取和使用上的积极性,直接或间接为英国增加了近 490 亿至 660 亿英镑的收入。英国政府预测,到 2017 年,大数据技术可以为英国提供 5.8 万个新的工作岗位,并直接或间接带来 2,160 亿英镑的经济增长。

2015 年,在云计算爆发助推智能科技加速发展的大环境下,大数据产业从理论到应用向前迈进了一大步,“大数据”一词也首次出现在《政府工作报告》中。

在公司建设方面,据统计,目前,我国有 32.50%的规模以上公司正在搭建大数据平台,处于测试阶段;29.50%的公司已经在生产环境实践大数据,并有成功的案例和产品;24.50%的公司已经做了足够的了解,开发准备就绪;基本不了解的只占 13.50%;而公司的大数据 相关研发团队中,29.11%的研发团队仅有1-10人,次居第二的10-50人的规模占到了25.77%,两种规模的研发团队就超过了一半。可见,当下大数据的需求已不再局限于大型公司。预计未来我国智慧经济年均增速约为 14%,而智慧城市在其中的贡献占比将达到 50%。以中国GDP 年均增长率 6%计算,截至 2025 年,智慧城市的贡献有望达到 3.9 万亿。

在城市建设方面,大数据是城市各个领域能够实现“智慧化”的关键性支撑技术,智慧城市是大数据实现应用的一大方向。大数据将遍布智慧城市的方方面面,从政府决策与服务,到人们衣食住行的生活方式,再到城市的产业布局和规划,直到城市的运营和管理方式,都将在大数据支撑下走向“智慧化”,大数据成为智慧城市的智慧引擎。

2014 年我国大数据相关硬件市场在 451 亿元,到 2015 年已经达到 795 亿元的规模。随着大数据相关产业的快速发展及应用场景的扩大,我国大数据硬件层市场将迎来一个崭新的快速发展的局面。

平台属性

大数据交易平台的主体主要分为两类:一类是以企业为主导的大数据交易平台,这些交易平台多为企业独资或合资运营,以阿里云、京东万象、浪潮天元数据、数据堂为代表,约占82%;另一类是由政府主导的大数据交易中心,这些中心多为政府/国企独资,或国企与民企合资,如贵阳大数据交易所和上海数据交易中心等,约占15%,其中60%左右为政府控股。

国内目前大数据交易业务涉及的行业主要为金融征信、交通地理、移动通讯、企业管理及医疗数据等,这与国内大数据企业主要业务方向基本一致,其中金融征信及企业管理数据交易近两年增长迅速。

盈利模式为提供平台服务、撮合交易收取佣金、销售自有数据、提供增值服务等。虽然大数据交易市场的规模逐渐增大,但大部分平台仍处于推广阶段,收取平台费用及交易佣金的平台相对较少,整体交易行业营收偏低

平台的交易方式

  1. 只提供交易渠道,满足大数据交易的最低要求 (将数据脱敏),如上海数据交易中心,只连接买方和卖方,不存储也不传输隐私数据
  2. 除了提供交易功能之外,还有进一步挖掘大数据价值的功能,如贵阳大数据交易所,它不交易原始数据,交易的是经过清洗,脱敏,分析等流程后形成的大数据产品
  3. 不提供大数据价值功能,而是通过爬虫或者向大数据来源方购买来获得大数据产品,再进行售卖。如数据堂,这种形式更类似于大数据的卖方身份

业态类型

  1. API接口平台
  2. 淘宝式平台
  3. 结合云服务的平台
  4. 数据采集、分析、售卖一条龙服务的平台

数据的来源

  1. 大数据的来源方:数据的“矿主”,占市场卖方多数,多数的数据交易平台都拥有数据的来源方 (当前市场还是卖方市场)
  2. 大数据来源代理方:受大数据来源方委托,为其开发,开放数据,代替其在数据市场交易数据 (如twitter和它的代理商的关系),重庆、贵阳、华中交易所都支持数据代理方交易

交易的标的

  1. 预处理的大数据产品:解决数据的无序性(数据清理,梳理,打标签)和数据的敏感性(数据脱敏:可恢复类脱敏和不可恢复类脱敏)
  2. 大数据分析产品:已经对预处理的大数据进行了分析、建立了数学模型,进行可视化等深加工之后的大数据产品

交易的流程

  1. 卖方主导:会员申请 -> 资格审核 -> 成为会员 -> 发布产品 -> 安全审核 -> 产品上线 -> 交易请求 -> 交易撮合 -> 交易清算 -> 数据配送 -> 产品反馈
  2. 买方主导(多了一个发布需求的流程):会员申请 -> 资格审核 -> 成为会员 -> 发布需求 -> 发布产品 -> 安全审核 -> 产品上线 -> 交易请求 -> 交易撮合 -> 交易清算 -> 数据配送 -> 产品反馈

数据交付方式

  1. 数据包
  2. API
  3. 分析结果

交易模式

  1. 个人大数据:未经允许售卖个人数据违法,但是没有对自己售卖自己的数据有任何规定
  2. 商业大数据:有不同的分类方式,典型的分类包括:
    • 医疗大数据:病例、就诊、医药
    • 金融大数据:企业、个体、个体户
    • 企业大数据:中小微企业、外资企业
    • 电商大数据:商品交易、药品流通
    • 能源大数据:石油、天然气等
    • 交通大数据:停车场、车辆位置
    • 商品大数据:电子标签、商品物流
    • 消费大数据:个人消费、个人征信
    • 教育大数据:学习轨迹、交易消费
    • 社交大数据:与社交相关的所有数据
    • 社会大数据:与社会管理、政府管理相关的数据
  3. 政府大数据

问题

  1. 数据的质量参差不齐
  2. 数据的“价值”评价机制缺乏
  3. 隐私保护

数据切入场景

  1. 自有数据
    1. 互联网企业的自有数据:京东万象,阿里云API...
    2. 企业数据中台中的自有数据
  2. 采集数据

数据的应用

  1. 客户的画像:B端企业
  2. 用来干嘛:
    1. 内部运营和管理:明细数据和宏观数据
    2. 商业应用:
      • 趋利
      • 避害

数据中台系统

  1. 神策, 融资情况
  2. 数澜, 融资情况
  3. 诸葛IO融资情况
  4. Growingio,融资情况
  5. 友盟融资情况

数据市场

Reference

  1. https://zhuanlan.zhihu.com/p/32579749
  2. https://zhuanlan.zhihu.com/p/105604980
  3. 国内外大数据交易平台调研分析
  4. https://blog.naaln.com/2019/12/report-data-transaction/
  5. http://www.cbdio.com/BigData/2016-06/02/content_4965656_all.htm
  6. http://www.cac.gov.cn/wxb_pdf/baipishu/dashuju020180418587931723585.pdf
  7. https://zhuanlan.zhihu.com/p/32579749
  8. https://mp.weixin.qq.com/s?src=11&timestamp=1584267616&ver=2218&signature=gGwwgeKGvyTUh2XTqFhfKcQXKJYByNwZ7b3TI3Fv4VFeKj88i*Hxu4uPehyxHrxxOhWiC-RYchYUrWiyv1JjQ2LvhL9RZaVoA575gZiBga71dkAu6osj7VCt8HhVLQCx&new=1
  9. http://www.gbdex.com/website/resources/download/2016.pdf
  10. https://mp.weixin.qq.com/s/VSbkAzho0-2J0pIiKMkOIg
  11. https://m.huxiu.com/article/254275.html?f=pc_new_share_article_wechat
  12. https://www.adquan.com/post-2-228687.html