|
g*****g 发帖数: 34805 | 2 可以看看MongoDB的实现,看看魏老师的内存数据库,异步写硬盘的天才创意是不是都
已经实现了。
是不是连master/slave cluster都实现了。
魏老师,说到底,就是一个造轮子的,还不知道更好的轮子已经存在了。 |
|
d*******r 发帖数: 3299 | 3 我是 PyMongo+MongoDB 在用,项目规模还比较小。随便存点东西,或者做个
persistent 的 msg queue,让不同的servers/processes去poll, 还有把各种乱七八糟
存在不同server的logs扔到mongo里面。估计别人会用 kafka做 persistent msg queue
, 用 Cassandra 做 logs, 我项目小,存储, queuing, log 就都用mongo了,这样别人
用的时候,看看 Mongo 里面的 JSONs 就啥都明白了。
推荐一个 GUI: http://robomongo.org/
其他部门和测试的人用着也方便。
PyMongo里面可以直接把 Python dictionary (可嵌入原生list) 当成 JSON 扔进去存
,还是比较方便。就是 Mongo 官方例子都是 JavaScript, 看过后,在Python里实现可
能还要简单看看 PyMongo里面的代码或者注释。
还有,create_index(keys_for_index) or ensure_index(keys_for_inde... 阅读全帖 |
|
w**z 发帖数: 8232 | 4 Look at this overall ranking:
http://db-engines.com/en/ranking
shall we all move to MS SQL Server since it's up 20% for last month?
Rank Last Month DBMS Database Model Score Changes
1. 1. Oracle Relational DBMS 1467.79 -0.26
2. 2. MySQL Relational DBMS 1296.91 -12.38
3. 3. Microsoft SQL Server Relational DBMS 1226.02 +20.
14
4. 4. PostgreSQL Relational DBMS 228.25 -2.71
5. 5. DB2 Relation... 阅读全帖 |
|
d******e 发帖数: 2265 | 5 mongodb比较灵活。适合需求变化大的情况。
等到恐龙系统时,在转其他数据库也来的及。
自然用的多。 |
|
d*******r 发帖数: 3299 | 6 听说了,但是 mongoDB 的 index 不是可以设置 timeout 的吗? 只让hot data的index
在内存里的话,不能解决这类问题?dataset不光指 index? |
|
c****e 发帖数: 1453 | 7 MongoDB is very flexible and has very little learning curve if the developer
knows RDBMS. Born with JSon + integrative query, and setup cost is almost
none but sharding costs your tons of VMs. Perf/scale wise, it can hold your
product/service very long without too much tuning, if you are in a startup ,
as least it will be OK after your A round fund raising, so you don't need
worry too much as at that time, you can hire more talented engineers to fix
the problem. |
|
|
a***n 发帖数: 538 | 9 mongodb很不稳定啊,居然一定要奇数个服务器的。 |
|
c******o 发帖数: 1277 | 10 scale out mongodb的主要办法是sharding吧?
到最后只能牺牲consistence,尽量denormalization,也和其他的nosql就差不多了。
殊途同归。 |
|
z*******3 发帖数: 13709 | 11 哈,投票机制的公平问题
我问过老头,老头当时回答说是
如果这样的话,就保证有返回值就是了
我的理解是,你自己设定一个比例
比如50,那么达到就认为是什么结果
如果出现50-50,设定值是50,达到了,所以取前者
但是mongodb做这种设定也的确是够奇芭的 |
|
c******o 发帖数: 1277 | 12 有autobalance,你最好自己config
move data cross shard is expansive.
add shard early not late.
mongodb is kind of heavily rely on in memory cached data. so depends on use
case. |
|
p*****2 发帖数: 21240 | 13
only
in
A more subtle MongoDB limitation is that when adding or updating a field in
a document, the entire document must be re-written.
瞎说八道 |
|
z*******3 发帖数: 13709 | 14 当时说的是mongodb
怎么来zookeeper啊? |
|
c******o 发帖数: 1277 | 15 确实是,但是mongodb本身接近传统sql的用法。 |
|
|
|
|
|
c******o 发帖数: 1277 | 20 好像不是“重写整个文件”, mongodb file grow unbounded. you can adjust
padding factor to optimize.
当然,最后需要 compaction (which have to be offline per collection, which
sucks)
我们最大的devops问题在于那几个sharding config servers, implementation 完全不
make sense. |
|
|
z****e 发帖数: 54598 | 22 扫了一遍
他用的例子恰好是我回避过的
也就是用户数据,比如账户信息这种
还有涉及到金钱交易的数据
都建议用database,因为transaction和join是你非常需要的
否则打散了的数据会带来经济上巨大的损失
但是,对于一些非重要数据
比如评论,你可以把评论本身单独存成documents
然后添加table id in db
这样就把靠近系统的缓存一分为二
把重要的数据交给db,把非重要数据交给c*,mongodb or couchdb
或者随便你挑一个ap system就好了
然后因为你无法保证ap system里面数据是consistent的
所以你最后还需要一个cp system which usually is hbase
然后把hbase当data warehouse用
只存只读不改不删,酱紫,就可以回避掉这篇文章里面说的del所带来的问题
其实这都在内森那篇文章里写了
内森写得多好,可惜看的人不多 |
|
|
c****e 发帖数: 1453 | 24 google/bing mongodb index 1k limitation.
There is no black/white choice when you start the project. The features you
added on over iterations can be a major part you don't expect initially. |
|
c****e 发帖数: 1453 | 25 When you think you are ok with "no join", it might NOT be true when product
evolves. Collection level lock is on the list for very long time, they
should have support that from day 1. MongoDB is very easy to hook up but it
doesn't scale well. I haven't seen any big footprint installment around.
Once you go with multiple sharding, it costs too many VMs.
dbs
table |
|
c******o 发帖数: 1277 | 26 vm是多,我们一个mongodb,为了sharding要弄13个vm minimum |
|
g*****g 发帖数: 34805 | 27 MongoDB还卖Hosting service。相当于给你做DBA,把服务在AWS里给你架好。 |
|
g****v 发帖数: 971 | 28 大牛能不能讨论下cassandra, Hbase, MongoDB的对比 |
|
|
z***e 发帖数: 5393 | 30 检查了一下数据库,的确是。
本来是该存memcache/redis之类的,好像在哪里看到有人说用mongodb就没必要用redis
之类的做缓存,就去掉了那一层,想不到造成这种结果。。。 |
|
e*******o 发帖数: 4654 | 31 There is. Read about --noprealloc and --smallfiles options
答案给出来了啊
还有就是 关了 journal,dev 环境中我这样用的。
mongodb 吹得3.0 多好 省空间,你可以试试升级一下。
另外,linode 啥的,比自己租机房,买服务器,贵得多。aws 也一样。
replication
4k |
|
N*****m 发帖数: 42603 | 32 80G对于mongodb来说,太小了
不过,你这个4000个用户的量也不大
几个建议
1.把storage.mmapv1.smallFiles打开
2.估计你的删除和更新比较多,定期运行compact和repairDatabase
replication
4k |
|
u**********e 发帖数: 282 | 33 Mongodb的index空间能占小一半吧?硬盘没设不需要的raid保护吧? |
|
j********x 发帖数: 2330 | 34 storage is cheap
data is precious
you can compact data to reclaim storage
you cannot get your data back once discard them
all in all:
mongodb is not a serious DB product... |
|
c***5 发帖数: 158 | 35 请问现在CASSANDRA 和 MONGODB 哪个更流行? |
|
f*****w 发帖数: 2602 | 36 比如我要先查找某个东西是否存在,然后根据是否存在再插入一条记录,这个该怎么做
到原子性?
我看了下mongodb提供的相关的只有findAndModify(),可是也没有findandinsert啊
然后如果自己用两个的sequential的 db operation写的话万一有race condition怎么
办? 好像并不是安全的做法 |
|
n****j 发帖数: 1708 | 37 比如 UPS 要生成 shipping label,客户 submit 了之后要给出一个不重复的
tracking#。不能假设 node 单线程不会冲突,因为很多 server 会连到你这个
mongodb。 |
|
a9 发帖数: 21638 | 38 mongodb设计出来就不是干这个的。
你可以自己用javascript写个插件干这个事儿吧。 |
|
c*********e 发帖数: 16335 | 39 mongodb是nosql
postgresql是和mysql类似的东西
怎么比? |
|
p****2 发帖数: 518 | 40 譬如,mongodb里存储着各个城市的pupulation,zipcode,面积
1. 现在我们需要用HTML5做一个菜单,由用户选择filters, 通过dropdown menu选择
多个城市和感兴趣的几个zipcode
2. 点击search后,返回CSV或json数据 (可以通过表格显示出来),格式如下:
城市 zip population area
3. Dropdown menu里的城市列表和zipcode列表可以cache,也可以直接向mongdb发送
query
刚学这块,在github上找了一晚上,没找到类似的实现例子
版上大牛云集 请帮推荐个可以参考的文章或GitHub project
Thanks a million! |
|
|
l**********n 发帖数: 8443 | 42 Here are a few examples of concrete usage of Redis on top of MongoDB.
Pre-2.2 MongoDB does not have yet an expiration mechanism. Capped
collections cannot really be used to implement a real TTL. Redis has a TTL-
based expiration mechanism, making it convenient to store volatile data. For
instance, user sessions are commonly stored in Redis, while user data will
be stored and indexed in MongoDB. Note that MongoDB 2.2 has introduced a low
accuracy expiration mechanism at the collection level (to b... 阅读全帖 |
|
c******o 发帖数: 1277 | 43 mongodb count()很差, 2.4 好一点了 https://jira.mongodb.org/browse/SERVER-
1752
mongodb performance和内存有关,和index/shard key的关系很大,
shard mongodb 和 index creation是很有学问的。
还有的就是mongodb 的写lock是per db,不是per collection的。
所以mongodb只适合于一定的东西。
。 |
|
|
|
|
|
p*u 发帖数: 2454 | 48 实习求职终于uber offer,全职求职始于uber rej,what a life。带着唯一的return
offer继续骑驴找马找全职了。
====感想====
0,千万不要看点科技博客,小文章就觉得懂design了,千万不要!常见design题有什
么用,还是被大牛们按在地上摩擦了!所以下面都是我自己总结出来的合适答案,可能
还是会导致你被按在地上摩擦,大家随便看看。
1,Uber NY的Bar很高,尤其是design bar,不想浪费机会的小伙伴还是申Uber SF吧。
刷算法基本对Uber NY没用的,目前Uber NY就没有new grad,第一批new grad的要求必
然是overflow的。
2,几乎纯Design面试,new grad永远的痛,狠狠一巴掌打在自以为design很熟的我脸
上。面我的四个人都干过小公司CTO甚至大公司的技术核心,“你们这些说名词的new
grad,根本不懂design的境界”。
3,真机IDE测试,能bug free就bug free,对方的笑容不代表他认可你先run再debug。
大家都是专业的,笑容什么都不代表。
4,Uber N... 阅读全帖 |
|
f*******r 发帖数: 976 | 49 Move on.
实习求职终于uber offer,全职求职始于uber rej,what a life。带着唯一的return
offer继续骑驴找马找全职了。
====感想====
0,千万不要看点科技博客,小文章就觉得懂design了,千万不要!常见design题有什
么用,还是被大牛们按在地上摩擦了!所以下面都是我自己总结出来的合适答案,可能
还是会导致你被按在地上摩擦,大家随便看看。
1,Uber NY的Bar很高,尤其是design bar,不想浪费机会的小伙伴还是申Uber SF吧。
刷算法基本对Uber NY没用的,目前Uber NY就没有new grad,第一批new grad的要求必
然是overflow的。
2,几乎纯Design面试,new grad永远的痛,狠狠一巴掌打在自以为design很熟的我脸
上。面我的四个人都干过小公司CTO甚至大公司的技术核心,“你们这些说名词的new
grad,根本不懂design的境界”。
3,真机IDE测试,能bug free就bug free,对方的笑容不代表他认可你先run再debug。
大家都是专业的,笑容什么都不代表... 阅读全帖 |
|
z****n 发帖数: 3189 | 50 话说n年前,mongodb发现全世界的cloud service provider都在用mongodb赚钱,却不
贡献一点点代码,这有点象吸血的味道
这让mongodb的老板颇为光火,所以修改了开源协议,要对aws azure这些肥牛收点
license fee来养码农
没想到阿三和被锁死扣得一逼
一看要收license fee,就不干了,但是现有的客人又不想放弃,于是学起了开源界的
玩法,根据open source的mongodb,port成一个代码一样,不过license不一样的东西
那这是利好还是利空,老夫就不知道了
老夫浅薄之见,不构成任何投资建议 |
|