論文

論文情報要旨PDF
Lu, G., Chen, H. M., Karashima, Y., Wang, Z., Fujiki, D., & Fan, H. (2026). AdaBlock-dLLM: Semantic-aware diffusion LLM inference via adaptive block size. In International Conference on Learning Representations (ICLR), 2026.本論文は、AIモデルが単語を逐次的に生成するのではなく、複数の単語を同時に生成可能とする新たなテキスト生成手法に着目し、その高速化の可能性を検討するものである。従来の一般的な手法では、単語を固定長のチャンクに分割して処理するが、本研究はこのアプローチに二つの問題が存在することを指摘する。すなわち、モデルが既に高い確信度を有する単語の確定を不必要に遅延させる場合と、確信度の低い単語を過度に早く確定してしまい誤りを生じる場合である。生成過程におけるモデルの確信度の変化を分析することで、チャンクの適切なタイミングおよびサイズを決定するためのパターンが明らかにされる。これらの知見に基づき、AdaBlockと呼ばれる簡便な追加手法を提案し、テキスト生成中にチャンクサイズを動的に調整することで、文の意味的な展開により適合させることを可能とする。その結果、処理速度を低下させることなく、より高い精度の達成が示される。link
Ito, H., Otsuka, H., Yasudo, R., Que, Z., Coutinho, J. G. F., Fujiki, D., Motomura, M., Guo, C., & Luk, W. (2026). Memory-efficient and trustworthy neural networks via random seed-based design. In IEEE Access, vol. 14, pp. 19424-19439, 2026.本論文では、限られたハードウェア環境下において、効率性と信頼性を両立するAIモデルの新たな構築手法を提案する。具体的には、強い宝くじ仮説（SLT）に基づく乱数重みにバイナリマスクをかける学習手法とモンテカルロドロップアウトを組み合わせることで、モデルの小型化および省エネルギー化を達成しながら高い予測精度と信頼性を維持する。実験結果は、提案手法が性能を損なうことなくモデルサイズを大幅に削減できるだけでなく、不確実性表現の能力も向上させることを示している。link
Chen, H. M., Lu, G., Okoshi, Y., Mo, Z., Motomura, M., & Fan, H. (Dec 2025). Rethinking Optimal Verification Granularity for Compute-Efficient Test-Time Scaling. In Advances in Neural Information Processing Systems, Dec 2025.本論文は、推論時に追加の計算資源を活用することで大規模言語モデルの推論能力を向上させるテスト時スケーリング（Test-Time Scaling, TTS）を対象に、その効率化と高性能化を図る新たな手法を提案する。具体的には、生成過程における中間結果の検証頻度に着目し、最終出力のみを検証する従来法と各ステップで検証を行う従来法の中間に位置づけられる、検証粒度を柔軟に制御可能な枠組みを導入する。実験結果は、提案手法が計算資源の消費を大幅に抑えながら推論精度を向上させることを示しており、効率性と性能の両立に有効であることを明らかにしている。link
Que, Z., Fan, H., Coutinho, J.G.F, Guo, C., Luk, W., Yasudo, R., & Motomura, M. (2025, May). Trustworthy Deep Learning Acceleration with Customizable Design Flow Automation. In Proceedings of the 15th International Symposium on Highly Efficient Accelerators and Reconfigurable Technologies, May 2025.本論文は、限られたハードウェア環境下において、高度なAIモデルを効率的かつ高い信頼性を保ちながら実行するための手法を提案する。具体的には、計算速度、精度、および予測の信頼性のバランスを自動的に最適化するフレームワークを導入し、従来手法に比べて性能とエネルギー効率の大幅な向上を実現する。実験結果により、提案手法の有効性と実用性が示された。link