cexll 最近的时间轴更新
cexll

cexll

V2EX 第 503664 号会员,加入于 2020-08-13 18:28:23 +08:00
今日活跃度排名 20871
cexll 最近回复了
6 天前
回复了 aaxaax 创建的主题 生活 中秋三天大家什么安排?
@SvenWong #20 得打完全部隐藏 BOSS 才可以打隐藏杨戬
15 天前
回复了 vx7298 创建的主题 职场话题 golang 薪资调查-2024 年 9 月 4 日
重庆 12k 金融互联网 4 年 24
16 天前
回复了 michaelliuyang 创建的主题 生活 消费降级,我的订阅服务瘦身
富哥们 从小穷惯了 不习惯订阅付费 能白嫖尽量白嫖,你的 nas 也小贵,自己买一个 x86 主机装一个 nas 然后配置 docker 你那些大多数软件网站都可以找到开源平替 包括音乐源 开源的音乐 app 视频就各大平台搜 最多就是域名+主机(一次性投资)+宽带费+话费
29 天前
回复了 fingerxie 创建的主题 职场话题 最近有些迷茫,不知道该不该继续学习
送给你一句话
无人问津也好,技不如人也罢。你都要试着安静下来,去做自己该做的事,而不是让内心烦躁,焦虑,毁掉你本就不多的热情和定力。昨日之深渊,今日之浅谈。路虽远,行则将至。事虽难,做则可成。
给楼主几个可行方案
闭源大模型 or 开源大模型
1.如果你选择闭源大模型, 基本上只能使用 RAG 相关的技术,就是提前将数据给量化放在量化数据库,使用一些 python 库 例如(langchain or llama_index), 在 API 请求之后将用户内容放量化数据库去 search 然后再给到 LLM(大模型) 去推理,中间的延迟如果能过接受的话, 这个方案是最简单的。
2.选择开源大模型,你会有两个方案 本地部署 or 使用 API ,本地部署你要考虑的东西就非常多,其实不是特别推荐,可以选择一些能过使用自己提交 LLM 的平台进行部署在平台上,这样就可以微调大模型,将你的数据 write 进入大模型中,这样就不会有 RAG 方案那么高的延迟,但是这个方案就需要你去了解大模型微调,相对技术难度更高。
上面很多人推荐的我都看过了 GraphRAG 太费钱了 现目前根本无法商用的
买两块 4090 的也不太科学 首先是性能并不好 其次是价格 另外买不买得到的问题,我推荐直接用各种平台的显卡,用多久 扣多少钱
@nyw17 #34 数据量太大了 RAG 响应会很慢
早睡早起 健康饮食 运动起来
38 天前
回复了 hardto 创建的主题 职场话题 锐评一下程序员的就业未来
为什么不能拥抱变化,主动去开发 AI 呢
在感兴趣的帖子下面点喜欢 评论 多阅读 覆盖掉
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   959 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 20ms · UTC 21:54 · PVG 05:54 · LAX 14:54 · JFK 17:54
Developed with CodeLauncher
♥ Do have faith in what you're doing.