很久没有纯粹的写代码了,我又来写基础建设了。
oneapi、litellm 这些都很好,功能很齐全。但是功能太齐全了,无论是公司还是我自己,都需要一个更轻量的 proxy,只需要关注指标、fallback 以及负载均衡。Users、Team Space 这些反而是阻止正常使用的高学习成本。
依旧山海经,文鳐。https://github.com/abersheeran/wenyao
> 《山海经·西次三经》泰器之山,观水出焉,西流注于流沙。是多文鳐鱼,状如鲤鱼,鱼身而鸟翼,苍文而白首赤喙,长行西海,游于东海,以夜飞。其音如鸾鸡,其味酸甘,食之已狂,见则天下大穰。
oneapi、litellm 这些都很好,功能很齐全。但是功能太齐全了,无论是公司还是我自己,都需要一个更轻量的 proxy,只需要关注指标、fallback 以及负载均衡。Users、Team Space 这些反而是阻止正常使用的高学习成本。
依旧山海经,文鳐。https://github.com/abersheeran/wenyao
> 《山海经·西次三经》泰器之山,观水出焉,西流注于流沙。是多文鳐鱼,状如鲤鱼,鱼身而鸟翼,苍文而白首赤喙,长行西海,游于东海,以夜飞。其音如鸾鸡,其味酸甘,食之已狂,见则天下大穰。