diff --git a/modules/llama_cpp_server.py b/modules/llama_cpp_server.py index 1f2db670..71d498b1 100644 --- a/modules/llama_cpp_server.py +++ b/modules/llama_cpp_server.py @@ -135,6 +135,7 @@ class LlamaServer: "prompt": token_ids, "n_predict": max_new_tokens, "stream": True, + "cache_prompt": True }) if shared.args.verbose: