编译build MNN-llmandroid部分。 mkdir android_build cd android_build cmake .. \ -DCMAKE_TOOLCHAIN_FILE=$ANDROID_NDK/build/cmake/android.toolchain.cmake \ -DANDROID_STL=c++_static \ -DANDROID_ABI="arm64-v8a" \ -DANDROID_NATIVE_API_LEVEL=android-21 \ -DCMAKE_BUILD_TYPE=Release \ -D...
chmod -R 777 /home/myuser/xujing/test/android-ndk-r21e#2.按照如下步骤编译android版mnn-llm#1. clone MNNgit clone https://github.com/alibaba/MNN.git --depth=1#2. build MNNcdMNN/project/android mkdir buildcdbuild ../build_64.sh -DMNN_LOW_MEMORY=ONcd../../../..#3. copy headers ...
# 4. build mnn-llm android mkdir android_build cd android_build cmake .. ` -DCMAKE_TOOLCHAIN_FILE="$ANDROID_NDK/build/cmake/android.toolchain.cmake" ` -DANDROID_STL=c++_static ` -DANDROID_ABI="arm64-v8a" ` -DANDROID_NATIVE_API_LEVEL=android-27 ` -DCMAKE_BUILD_TYPE=Release ` ...
在大语言模型(LLM)端侧部署上,基于 MNN 实现的 mnn-llm 项目已经展现出业界领先的性能,特别是在 ARM 架构的 CPU 上。目前利用 mnn-llm 的推理能力,qwen-1.8b在mnn-llm的驱动下能够在移动端达到端侧实时会话的能力,能够在较低内存(<2G)的情况下,做到快速响应,Android可以下载 qwen-1.8b-apk 来体验;iOS也可...
mkdir android_build cd android_build cmake .. \ -DCMAKE_TOOLCHAIN_FILE=$ANDROID_NDK/build/cmake/android.toolchain.cmake \ -DANDROID_STL=c++_static \ -DANDROID_ABI="arm64-v8a" \ -DANDROID_NATIVE_API_LEVEL=android-21 \ -DMNN_ARM82=ON \ -DCMAKE_BUILD_TYPE=Release \ -DBUILD_FOR...
目前利用 mnn-llm 的推理能力,qwen-1.8b在mnn-llm的驱动下能够在移动端达到端侧实时会话的能力,能够在较低内存(<2G)的情况下,做到快速响应,Android可以下载 qwen-1.8b-apk 来体验;iOS也可以编译mnn-llm-ios体验。然而,端侧部署 LLM 仍然面临着一系列挑战。尽管 qwen-1.8b 模型能在端侧设备上达到实用性能,但...
android demo docs export include ios model python resource script src watchos web .gitignore .gitmodules .readthedocs.yaml CMakeLists.txt LICENSE README.md README_en.md English 运行说明 实现的是GOT-OCR mnn cpu版本,cuda版本目前还有错误。修改model/config.json backend_type为 cpu或者cuda,来修改不...
android demo docs include ios python resource script src watchos/mnn-llm web .gitignore .gitmodules .readthedocs.yaml CMakeLists.txt LICENSE README.md README_en.md README Apache-2.0 license mnn-llm English 示例工程 llm模型导出onnx和mnn模型请使用llm-export ...
使用mnn-llm对GOT-OCR2.0进行推理. Contribute to BaofengZan/mnn-llm-GOT-OCR2.0 development by creating an account on GitHub.
Pull requests Discussions Actions Projects Security Insights Additional navigation options Branch selector User selector Datepicker Commits on Aug 9, 2024 75a4c60 8ada559 Commits on Jul 12, 2024 24539fa d70533c Commits on Jul 4, 2024 [refactor] replace c++17 to c++11. ...