モデル改善、アプリケーション開発、そしてその間にあるレイヤーについての考察。
LLM はルーティングや正規化のようなセマンティックなバックエンドタスクで最も力を発揮し、決定論的な実行はずっと苦手です。
言語モデルをアプリケーションの中に組み込むとき、問うべきなのはどのモデルが一般的に最も賢いかではなく、その仕事を十分な品質で、十分に安く、十分に安定してこなせるのはどのモデルかであることがほとんどです。
