AIの記事

Tesla K40c で llama.cpp を動かして、Local LLMを動かしてみた記録

大学の研究室に転がっていたNVIDIA Tesla K40cとかいう古代のGPUで、Local LLMを構築してみたお話です。