由买买提看人间百态

topics

全部话题 - 话题: mongodb
首页 上页 1 2 3 4 5 6 7 8 9 10 下页 末页 (共10页)
p*****2
发帖数: 21240
1
来自主题: Programming版 - MongoDB for Node.js Developers (转载)
【 以下文字转载自 JobHunting 讨论区 】
发信人: peking2 (scala), 信区: JobHunting
标 题: MongoDB for Node.js Developers
发信站: BBS 未名空间站 (Mon Aug 12 02:52:04 2013, 美东)
这个course不错,推荐一下。有玩node和mongo的可以看看。
https://education.10gen.com/courses/10gen/M101JS/2013_August/about
g*****g
发帖数: 34805
2
来自主题: Programming版 - 如果不知道mongoDB的。
可以看看MongoDB的实现,看看魏老师的内存数据库,异步写硬盘的天才创意是不是都
已经实现了。
是不是连master/slave cluster都实现了。
魏老师,说到底,就是一个造轮子的,还不知道更好的轮子已经存在了。
d*******r
发帖数: 3299
3
来自主题: Programming版 - MongoDB力压Cassandra
我是 PyMongo+MongoDB 在用,项目规模还比较小。随便存点东西,或者做个
persistent 的 msg queue,让不同的servers/processes去poll, 还有把各种乱七八糟
存在不同server的logs扔到mongo里面。估计别人会用 kafka做 persistent msg queue
, 用 Cassandra 做 logs, 我项目小,存储, queuing, log 就都用mongo了,这样别人
用的时候,看看 Mongo 里面的 JSONs 就啥都明白了。
推荐一个 GUI: http://robomongo.org/
其他部门和测试的人用着也方便。
PyMongo里面可以直接把 Python dictionary (可嵌入原生list) 当成 JSON 扔进去存
,还是比较方便。就是 Mongo 官方例子都是 JavaScript, 看过后,在Python里实现可
能还要简单看看 PyMongo里面的代码或者注释。
还有,create_index(keys_for_index) or ensure_index(keys_for_inde... 阅读全帖
w**z
发帖数: 8232
4
来自主题: Programming版 - MongoDB力压Cassandra
Look at this overall ranking:
http://db-engines.com/en/ranking
shall we all move to MS SQL Server since it's up 20% for last month?
Rank Last Month DBMS Database Model Score Changes
1. 1. Oracle Relational DBMS 1467.79 -0.26
2. 2. MySQL Relational DBMS 1296.91 -12.38
3. 3. Microsoft SQL Server Relational DBMS 1226.02 +20.
14
4. 4. PostgreSQL Relational DBMS 228.25 -2.71
5. 5. DB2 Relation... 阅读全帖
d******e
发帖数: 2265
5
来自主题: Programming版 - MongoDB力压Cassandra
mongodb比较灵活。适合需求变化大的情况。
等到恐龙系统时,在转其他数据库也来的及。
自然用的多。
d*******r
发帖数: 3299
6
来自主题: Programming版 - MongoDB力压Cassandra
听说了,但是 mongoDB 的 index 不是可以设置 timeout 的吗? 只让hot data的index
在内存里的话,不能解决这类问题?dataset不光指 index?
c****e
发帖数: 1453
7
来自主题: Programming版 - MongoDB力压Cassandra
MongoDB is very flexible and has very little learning curve if the developer
knows RDBMS. Born with JSon + integrative query, and setup cost is almost
none but sharding costs your tons of VMs. Perf/scale wise, it can hold your
product/service very long without too much tuning, if you are in a startup ,
as least it will be OK after your A round fund raising, so you don't need
worry too much as at that time, you can hire more talented engineers to fix
the problem.
p*****2
发帖数: 21240
8
来自主题: Programming版 - MongoDB力压Cassandra
http://java.dzone.com/articles/nosql-trends-mongodb-cassandra
zhaoce大牛看好的couchdb不行呀。
a***n
发帖数: 538
9
来自主题: Programming版 - MongoDB力压Cassandra
mongodb很不稳定啊,居然一定要奇数个服务器的。
c******o
发帖数: 1277
10
来自主题: Programming版 - MongoDB力压Cassandra
scale out mongodb的主要办法是sharding吧?
到最后只能牺牲consistence,尽量denormalization,也和其他的nosql就差不多了。
殊途同归。
z*******3
发帖数: 13709
11
来自主题: Programming版 - MongoDB力压Cassandra
哈,投票机制的公平问题
我问过老头,老头当时回答说是
如果这样的话,就保证有返回值就是了
我的理解是,你自己设定一个比例
比如50,那么达到就认为是什么结果
如果出现50-50,设定值是50,达到了,所以取前者
但是mongodb做这种设定也的确是够奇芭的
c******o
发帖数: 1277
12
来自主题: Programming版 - MongoDB力压Cassandra
有autobalance,你最好自己config
move data cross shard is expansive.
add shard early not late.
mongodb is kind of heavily rely on in memory cached data. so depends on use
case.
p*****2
发帖数: 21240
13
来自主题: Programming版 - MongoDB力压Cassandra

only
in
A more subtle MongoDB limitation is that when adding or updating a field in
a document, the entire document must be re-written.
瞎说八道
z*******3
发帖数: 13709
14
来自主题: Programming版 - MongoDB力压Cassandra
当时说的是mongodb
怎么来zookeeper啊?
c******o
发帖数: 1277
15
来自主题: Programming版 - MongoDB力压Cassandra
确实是,但是mongodb本身接近传统sql的用法。
p*****2
发帖数: 21240
g*****g
发帖数: 34805
17
来自主题: Programming版 - MongoDB力压Cassandra
我觉得你错了,这是API,不是底层实现。
http://docs.mongodb.org/manual/core/write-operations/
我觉得这个意思就是更新就重写整个document.
a***n
发帖数: 538
18
来自主题: Programming版 - MongoDB力压Cassandra
是不是inPlace挺复杂的,看line 1999。新的field大小一样的时候是inplace的。
https://github.com/mongodb/mongo/blob/
67253d75220d44a967a7ccdcead25bc37319136a/src/mongo/bson/mutable/document.cpp
a***n
发帖数: 538
19
来自主题: Programming版 - MongoDB力压Cassandra
size()定义在这。
https://github.com/mongodb/mongo/blob/
c8c1dfc29da5f2232f17865fb4cb0d94ed1da2da/src/mongo/bson/bson-inl.h#L522
只有完全一样长的时候才能inplace吧。
c******o
发帖数: 1277
20
来自主题: Programming版 - MongoDB力压Cassandra
好像不是“重写整个文件”, mongodb file grow unbounded. you can adjust
padding factor to optimize.
当然,最后需要 compaction (which have to be offline per collection, which
sucks)
我们最大的devops问题在于那几个sharding config servers, implementation 完全不
make sense.
s***o
发帖数: 2191
21
来自主题: Programming版 - Why You Should Never Use MongoDB
http://www.sarahmei.com/blog/2013/11/11/why-you-should-never-us
It's a lengthy but very interesting article as it illustrates one of my
major concerns for using mongodb as primary data store. Any thoughts?
z****e
发帖数: 54598
22
来自主题: Programming版 - Why You Should Never Use MongoDB
扫了一遍
他用的例子恰好是我回避过的
也就是用户数据,比如账户信息这种
还有涉及到金钱交易的数据
都建议用database,因为transaction和join是你非常需要的
否则打散了的数据会带来经济上巨大的损失
但是,对于一些非重要数据
比如评论,你可以把评论本身单独存成documents
然后添加table id in db
这样就把靠近系统的缓存一分为二
把重要的数据交给db,把非重要数据交给c*,mongodb or couchdb
或者随便你挑一个ap system就好了
然后因为你无法保证ap system里面数据是consistent的
所以你最后还需要一个cp system which usually is hbase
然后把hbase当data warehouse用
只存只读不改不删,酱紫,就可以回避掉这篇文章里面说的del所带来的问题
其实这都在内森那篇文章里写了
内森写得多好,可惜看的人不多
p*****2
发帖数: 21240
23
来自主题: Programming版 - MongoDB快超过Postgres了
Cassandra也表现异常良好
http://db-engines.com/en/blog_post/30
感觉MongoDB, Cassandra, Redis是最好的NoSQL
c****e
发帖数: 1453
24
来自主题: Programming版 - MongoDB快超过Postgres了
google/bing mongodb index 1k limitation.
There is no black/white choice when you start the project. The features you
added on over iterations can be a major part you don't expect initially.
c****e
发帖数: 1453
25
来自主题: Programming版 - MongoDB快超过Postgres了
When you think you are ok with "no join", it might NOT be true when product
evolves. Collection level lock is on the list for very long time, they
should have support that from day 1. MongoDB is very easy to hook up but it
doesn't scale well. I haven't seen any big footprint installment around.
Once you go with multiple sharding, it costs too many VMs.

dbs
table
c******o
发帖数: 1277
26
来自主题: Programming版 - MongoDB快超过Postgres了
vm是多,我们一个mongodb,为了sharding要弄13个vm minimum
g*****g
发帖数: 34805
27
MongoDB还卖Hosting service。相当于给你做DBA,把服务在AWS里给你架好。
g****v
发帖数: 971
28
大牛能不能讨论下cassandra, Hbase, MongoDB的对比
c******o
发帖数: 1277
z***e
发帖数: 5393
30
来自主题: Programming版 - 被mongodb坑了,求指点!
检查了一下数据库,的确是。
本来是该存memcache/redis之类的,好像在哪里看到有人说用mongodb就没必要用redis
之类的做缓存,就去掉了那一层,想不到造成这种结果。。。
e*******o
发帖数: 4654
31
来自主题: Programming版 - 被mongodb坑了,求指点!
There is. Read about --noprealloc and --smallfiles options
答案给出来了啊
还有就是 关了 journal,dev 环境中我这样用的。
mongodb 吹得3.0 多好 省空间,你可以试试升级一下。
另外,linode 啥的,比自己租机房,买服务器,贵得多。aws 也一样。

replication
4k
N*****m
发帖数: 42603
32
来自主题: Programming版 - 被mongodb坑了,求指点!
80G对于mongodb来说,太小了
不过,你这个4000个用户的量也不大
几个建议
1.把storage.mmapv1.smallFiles打开
2.估计你的删除和更新比较多,定期运行compact和repairDatabase

replication
4k
u**********e
发帖数: 282
33
来自主题: Programming版 - 被mongodb坑了,求指点!
Mongodb的index空间能占小一半吧?硬盘没设不需要的raid保护吧?
j********x
发帖数: 2330
34
来自主题: Programming版 - 被mongodb坑了,求指点!
storage is cheap
data is precious
you can compact data to reclaim storage
you cannot get your data back once discard them
all in all:
mongodb is not a serious DB product...
c***5
发帖数: 158
35
来自主题: Programming版 - Cassandra vs MongoDB
请问现在CASSANDRA 和 MONGODB 哪个更流行?
f*****w
发帖数: 2602
36
比如我要先查找某个东西是否存在,然后根据是否存在再插入一条记录,这个该怎么做
到原子性?
我看了下mongodb提供的相关的只有findAndModify(),可是也没有findandinsert啊
然后如果自己用两个的sequential的 db operation写的话万一有race condition怎么
办? 好像并不是安全的做法
n****j
发帖数: 1708
37
比如 UPS 要生成 shipping label,客户 submit 了之后要给出一个不重复的
tracking#。不能假设 node 单线程不会冲突,因为很多 server 会连到你这个
mongodb。
a9
发帖数: 21638
38
mongodb设计出来就不是干这个的。
你可以自己用javascript写个插件干这个事儿吧。
c*********e
发帖数: 16335
39
来自主题: Programming版 - 目测mongodb要跟postgresql正面对决了
mongodb是nosql
postgresql是和mysql类似的东西
怎么比?
p****2
发帖数: 518
40
譬如,mongodb里存储着各个城市的pupulation,zipcode,面积
1. 现在我们需要用HTML5做一个菜单,由用户选择filters, 通过dropdown menu选择
多个城市和感兴趣的几个zipcode
2. 点击search后,返回CSV或json数据 (可以通过表格显示出来),格式如下:
城市 zip population area
3. Dropdown menu里的城市列表和zipcode列表可以cache,也可以直接向mongdb发送
query
刚学这块,在github上找了一晚上,没找到类似的实现例子
版上大牛云集 请帮推荐个可以参考的文章或GitHub project
Thanks a million!
W***o
发帖数: 6519
41
take a look at Flask, and there's even a template for you to start:
https://github.com/givp/Flask-MongoDB-Project
l**********n
发帖数: 8443
42
来自主题: Programming版 - Redis和Memcached有什么区别?
Here are a few examples of concrete usage of Redis on top of MongoDB.
Pre-2.2 MongoDB does not have yet an expiration mechanism. Capped
collections cannot really be used to implement a real TTL. Redis has a TTL-
based expiration mechanism, making it convenient to store volatile data. For
instance, user sessions are commonly stored in Redis, while user data will
be stored and indexed in MongoDB. Note that MongoDB 2.2 has introduced a low
accuracy expiration mechanism at the collection level (to b... 阅读全帖
c******o
发帖数: 1277
43
来自主题: Programming版 - 你们有没有一种感觉,其实big data
mongodb count()很差, 2.4 好一点了 https://jira.mongodb.org/browse/SERVER-
1752
mongodb performance和内存有关,和index/shard key的关系很大,
shard mongodb 和 index creation是很有学问的。
还有的就是mongodb 的写lock是per db,不是per collection的。
所以mongodb只适合于一定的东西。

m***r
发帖数: 359
44
来自主题: Programming版 - Python日报 2015年3月楼
Python日报 2015-03-03
@好东西传送门 出品, 过刊见
http://py.memect.com
订阅:给 [email protected]
/* */ 发封空信, 标题: 订阅Python日报
更好看的HTML版
http://py.memect.com/archive/2015-03-03/short.html
1) 【Python下用Scrapy和MongoDB构建爬虫系统】 by @爱可可-爱生活
关键词:库, 博客, 爬虫
《Web Scraping and Crawling With Scrapy and MongoDB》Part1: [1] Part2: [2]
Python下用Scrapy和MongoDB构建爬虫系统,以StackOverflow为例,难得的Scrapy实操
好文
[1] https://realpython.com/blog/python/web-scraping-with-scrapy-and-mongodb/
[2] https://realpython.com/blog/python/web-scraping-and... 阅读全帖
m***r
发帖数: 359
45
来自主题: Programming版 - Python日报 2015年3月楼
Python日报 2015-03-03
@好东西传送门 出品, 过刊见
http://py.memect.com
订阅:给 h*[email protected] 发封空信, 标题: 订阅Python日报
更好看的HTML版
http://py.memect.com/archive/2015-03-03/short.html
1) 【Python下用Scrapy和MongoDB构建爬虫系统】 by @爱可可-爱生活
关键词:库, 博客, 爬虫
《Web Scraping and Crawling With Scrapy and MongoDB》Part1: [1] Part2: [2]
Python下用Scrapy和MongoDB构建爬虫系统,以StackOverflow为例,难得的Scrapy实操
好文
[1] https://realpython.com/blog/python/web-scraping-with-scrapy-and-mongodb/
[2] https://realpython.com/blog/python/web-scraping-and-crawling-with-... 阅读全帖
m***r
发帖数: 359
46
来自主题: DataSciences版 - 大数据日报 2015年2月楼
大数据日报 2015-02-04
@好东西传送门 出品, 过刊见
http://bd.memect.com
订阅:给 [email protected]
/* */ 发封空信, 标题: 订阅大数据日报
更好看的HTML版
http://bd.memect.com/archive/2015-02-04/short.html
1) 【阿里巴巴技术专家杨晓明:基于Hadoop技术进行地理空间分析】 by @心开始123
关键词:计算框架, Hadoop, 杨晓明
发表了博文《阿里巴巴技术专家杨晓明:基于Hadoop技术进行地理空间分析》【编者按
】交通领域正产生着海量的车辆位置点数据。将这些车辆位置信息和道路进行关联的统
计操作则是一项颇为浩大的工作,而随着Had [1]
[1] http://weibo.com/p/230418bcfc8a050102vg14
2) 【雅虎开源Kafka集群管理器】 by @网路冷眼
关键词:计算框架, 代码, 流计算
【雅虎开源Kafka集群管理器】 [1] Kafka在雅虎内部被很多团队使用,媒体团队用它做
实时分析流水线,可以处理高达20... 阅读全帖
m***r
发帖数: 359
47
来自主题: DataSciences版 - 大数据日报 2015年2月楼
大数据日报 2015-02-05
@好东西传送门 出品, 过刊见
http://bd.memect.com
订阅:给 [email protected]
/* */ 发封空信, 标题: 订阅大数据日报
更好看的HTML版
http://bd.memect.com/archive/2015-02-05/short.html
1) 【大数据解决方案:国美在线Apache Hadoop的大数据平台】 by @中国云计算论坛
关键词:计算框架, Hadoop
【大数据解决方案:国美在线Apache Hadoop的大数据平台】·Hadoop数据仓库有效实现
数据整合,存储商品数据、用户数据、交易数据、库存数据、物流数据等的最实时数据
。通过大数据平台的实时SQL分析引擎关 联分析,更加高效、快速、全面的生产业务报
表 [1]
[1] http://www.thebigdata.cn/Hadoop/13398.html
2) 【手把手教你用Docker部署一个MongoDB集群】 by @DockerOne
关键词:数据库, 虚拟化, Docker, MongoDB, 容器
【手把手教... 阅读全帖
p*u
发帖数: 2454
48
来自主题: JobHunting版 - Uber-NY onsite (zz)
实习求职终于uber offer,全职求职始于uber rej,what a life。带着唯一的return
offer继续骑驴找马找全职了。
====感想====
0,千万不要看点科技博客,小文章就觉得懂design了,千万不要!常见design题有什
么用,还是被大牛们按在地上摩擦了!所以下面都是我自己总结出来的合适答案,可能
还是会导致你被按在地上摩擦,大家随便看看。
1,Uber NY的Bar很高,尤其是design bar,不想浪费机会的小伙伴还是申Uber SF吧。
刷算法基本对Uber NY没用的,目前Uber NY就没有new grad,第一批new grad的要求必
然是overflow的。
2,几乎纯Design面试,new grad永远的痛,狠狠一巴掌打在自以为design很熟的我脸
上。面我的四个人都干过小公司CTO甚至大公司的技术核心,“你们这些说名词的new
grad,根本不懂design的境界”。
3,真机IDE测试,能bug free就bug free,对方的笑容不代表他认可你先run再debug。
大家都是专业的,笑容什么都不代表。
4,Uber N... 阅读全帖
f*******r
发帖数: 976
49
来自主题: JobHunting版 - Uber-NY onsite (zz)
Move on.

实习求职终于uber offer,全职求职始于uber rej,what a life。带着唯一的return
offer继续骑驴找马找全职了。
====感想====
0,千万不要看点科技博客,小文章就觉得懂design了,千万不要!常见design题有什
么用,还是被大牛们按在地上摩擦了!所以下面都是我自己总结出来的合适答案,可能
还是会导致你被按在地上摩擦,大家随便看看。
1,Uber NY的Bar很高,尤其是design bar,不想浪费机会的小伙伴还是申Uber SF吧。
刷算法基本对Uber NY没用的,目前Uber NY就没有new grad,第一批new grad的要求必
然是overflow的。
2,几乎纯Design面试,new grad永远的痛,狠狠一巴掌打在自以为design很熟的我脸
上。面我的四个人都干过小公司CTO甚至大公司的技术核心,“你们这些说名词的new
grad,根本不懂design的境界”。
3,真机IDE测试,能bug free就bug free,对方的笑容不代表他认可你先run再debug。
大家都是专业的,笑容什么都不代表... 阅读全帖
z****n
发帖数: 3189
50
话说n年前,mongodb发现全世界的cloud service provider都在用mongodb赚钱,却不
贡献一点点代码,这有点象吸血的味道
这让mongodb的老板颇为光火,所以修改了开源协议,要对aws azure这些肥牛收点
license fee来养码农
没想到阿三和被锁死扣得一逼
一看要收license fee,就不干了,但是现有的客人又不想放弃,于是学起了开源界的
玩法,根据open source的mongodb,port成一个代码一样,不过license不一样的东西
那这是利好还是利空,老夫就不知道了
老夫浅薄之见,不构成任何投资建议
首页 上页 1 2 3 4 5 6 7 8 9 10 下页 末页 (共10页)