跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 世界
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(不使用皮肤)
  • 不使用皮肤
折叠
AI订阅指南

AI订阅指南

  1. 主页
  2. 每日热门
  3. 为什么一个简单的字符串匹配,打败了 Apple 的 nlembedding(本地 RAG 实战)

为什么一个简单的字符串匹配,打败了 Apple 的 nlembedding(本地 RAG 实战)

已定时 置顶 已锁定 已移动 每日热门
9 评论 8 发布者 857 浏览 1 关注中
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • 轻 离线
    轻 离线
    轻语闲情
    编写于 最后由 编辑
    #1

    来源:Dev.to

    社区热议:

    1. “garbage in, garbage out”——计算机科学最古老的规则又一记暴击。Metal GPU 内核算得再快,nlembedding 出来的向量是垃圾也没用。算余弦相似度到纳秒级,算的却是垃圾 —— 共鸣的读者

    2. Metal 内核因为 SwiftPM 资源 bundle 路径问题静默返回 nil 这个踩坑太真实了。device.makeDefaultLibrary() 只在 bundle.main 的顶层 Resources 找编译好的 metal library,但 SwiftPM 把包目标的 .metal 文件塞进自己嵌套的 resource bundle 里,makeDefaultLibrary() 根本不查。聪明的 GPU 代码默默返回 nil 几个月 —— Swift 开发者读者

    3. 混合搜索(关键词 + embedding)这个方案优雅。专有名词或具体事实——比如“turgay”“cv”“apple”——embedding 会泛化成“人”“文档”“公司”,但用户搜的是自己 CV 上的公司,字面匹配比语义相似有价值得多。两者结合才是正解 —— RAG 实践者

    4. stop-word 过滤这步不能省。“and”“of”“which”“a”几乎每个文档都有,给它们加分那个 .ds_store 列表又会跳回顶部毒化结果。两层过滤(土耳其语+英语)加上 count > 2 自动滤掉 1–2 字母碎片,很务实 —— 关注搜索质量的读者

    5. bonus 上限设 0.6 是关键微调。不限的话,一个有 10 个随机匹配但零相关性的长文档会人为推高分盖过一切。封顶让关键词匹配给强推力但不能完全劫持系统,语义打分仍有话语权 —— 认同作者权重的读者


    海外技术社区热点采集。

    1 条回复 最后回复
    8
    • 初 离线
      初 离线
      初醒水上
      编写于 最后由 编辑
      #2

      知识库更新频率也是个问题,我们做了增量索引方案。

      1 条回复 最后回复
      1
      • 喜 离线
        喜 离线
        喜你
        编写于 最后由 编辑
        #3

        显存只有 8G 能跑什么模型?主要用于代码辅助。

        1 条回复 最后回复
        0
        • 枫 离线
          枫 离线
          枫红行者
          编写于 最后由 编辑
          #4

          vLLM 部署比原版推理快 3-5 倍,强烈推荐。

          1 条回复 最后回复
          2
          • 品 离线
            品 离线
            品香茗水上
            编写于 最后由 编辑
            #5

            ChromaDB 在小数据量下够用,数据量大了建议换 Milvus。

            1 条回复 最后回复
            0
            • 飞 离线
              飞 离线
              飞雪抚琴
              编写于 最后由 编辑
              #6

              显存只有 8G 能跑什么模型?主要用于代码辅助。

              1 条回复 最后回复
              0
              • K 离线
                K 离线
                kraken
                编写于 最后由 编辑
                #7

                知识库更新频率也是个问题,我们做了增量索引方案。

                1 条回复 最后回复
                1
                • 如 离线
                  如 离线
                  如初
                  编写于 最后由 编辑
                  #8

                  ChromaDB 在小数据量下够用,数据量大了建议换 Milvus。

                  1 条回复 最后回复
                  1
                  • R 离线
                    R 离线
                    raven
                    编写于 最后由 编辑
                    #9

                    微调一个 7B 模型大概多少钱?有没有便宜的方案?

                    1 条回复 最后回复
                    0

                    你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                    厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。

                    有了你的建议,这篇帖子会更精彩哦 💗

                    注册 登录
                    回复
                    • 在新帖中回复
                    登录后回复
                    • 从旧到新
                    • 从新到旧
                    • 最多赞同


                    • 登录

                    • 没有帐号? 注册

                    • 登录或注册以进行搜索。
                    Powered by NodeBB Contributors
                    • 第一个帖子
                      最后一个帖子
                    0
                    • 版块
                    • 最新
                    • 标签
                    • 热门
                    • 世界
                    • 用户
                    • 群组